Állás · Senior

Python inference engineer

Egyéb • Senior • Remote • Teljes munkaidő • Szerbia Szerbia

A Gcore Python Inference Engineert keres, aki a Gcore Inference platform inferencia-rétegét építi és fejleszti, inferencia-keretrendszereket integrál, és új nyelvi és multimodális modelleket visz éles környezetbe.

Feladatok

  • ▹Építi és fejleszti a Gcore Inference platform inferencia-rétegét.
  • ▹Inferencia-keretrendszereket, például vLLM, SGLang, NVIDIA Dynamo és TensorRT-LLM integrál és üzemeltet.
  • ▹Új nyelvi és multimodális modelleket visz éles környezetbe.
  • ▹Javítja az inferencia-latenciát, az áteresztőképességet, a memóriahasználatot, a GPU-kihasználtságot és a költséghatékonyságot.
  • ▹Teljesítmény- és megbízhatósági problémákat hárít el modellkódban, inferencia-keretrendszerekben, GPU-végrehajtásban, hálózatban és Kubernetesben.
  • ▹Platform-, infrastruktúra-, termék- és ügyfélkapcsolati csapatokkal dolgozik együtt, hogy az inferencia-fejlesztéseket megbízható termékfunkciókká alakítsa.
  • ▹Hozzájárul nyílt forráskódú inferencia-projektekhez, ahol indokolt.

Elvárások

  • ▹5+ év tapasztalat megbízható, jól tesztelt éles kód írásában.
  • ▹Erős Python-tudás és tapasztalat éles rendszerek tervezésében.
  • ▹Gyakorlati tapasztalat PyTorch-csal és gépi tanulási modellek éles bevezetésével.
  • ▹Tapasztalat Linuxszal, Dockerrel és Kubernetesszel.
  • ▹Tapasztalat legalább egy releváns területen: elosztott rendszerek, GPU-számítás, ML runtime-ok, modelloptimalizálás vagy klaszter-ütemezés.
  • ▹Képesség összetett problémák hibakeresésére szoftver, infrastruktúra és hardver keresztmetszetében.
  • ▹Erős érzék a fejlesztői élmény iránt: nem csak azt nézi, hogyan működnek a rendszerek, hanem hogy hogyan használják őket.
  • ▹Valódi érdeklődés az inferencia-engineering iránt; közvetlen inferencia-motor tapasztalat nem feltétel, de motiváció a tanulásra igen.
  • ▹Jó kommunikációs és együttműködési készség.

Előny

  • ▹Tapasztalat vLLM-mel, SGLang-gal, NVIDIA Dynamóval, TensorRT-LLM-mel vagy hasonló inferencia-keretrendszerrel.
  • ▹Tapasztalat GPU-terhelések éles futtatásában.
  • ▹Ismeretek inferencia-technikákról, mint kvantálás, folyamatos batching, spekulatív dekódolás, prefix caching, chunked prefill vagy LoRA serving.
  • ▹Tapasztalat CUDA-val, Tritonnal, TensorRT-vel vagy más GPU-programozási eszközökkel.
  • ▹Tapasztalat modell-latencia, -áteresztőképesség, -memóriahasználat vagy -GPU-kihasználtság profilozásában és javításában.
  • ▹Tapasztalat elosztott inferenciával, több GPU-s rendszerekkel, ütemezéssel vagy autoscalinggel.
  • ▹Hozzájárulás nyílt forráskódú ML-, inferencia- vagy infrastruktúra-projektekhez.

Soft skillek

Fejlesztői élmény iránti érzékJó kommunikációs és együttműködési készségValódi érdeklődés a tanulás iránt

Amit kínálunk

  • ▹Versenyképes bérezés.
  • ▹Rugalmas munkaidő és hibrid vagy távmunka-lehetőség, szerepkörtől függően.
  • ▹Bárhonnan dolgozhatsz a világon évi 45 napig.
  • ▹Magánegészségügyi biztosítás a dolgozónak és családjának.
  • ▹Extra fizetett szabadság és betegszabadság napok.
  • ▹Támogatás fontos életeseményekhez és ünnepekhez.
  • ▹Nyelvtanfolyamok.
  • ▹Modern, barátságos irodák snackekkel, italokkal és szórakozási lehetőségekkel.
  • ▹Csapatsport és közösségi programok.

A munkáltatóról

A Gcore globális infrastruktúra- és szoftvermegoldás-szolgáltató AI, felhő, hálózati és biztonsági területen, amely a valós idejű kommunikációtól a streamingen át a vállalati AI-ig biztosítja a digitális élmények mögötti alapokat.

Hasonló állások