A Gcore Python Inference Engineert keres, aki a Gcore Inference platform inferencia-rétegét építi és fejleszti, inferencia-keretrendszereket integrál, és új nyelvi és multimodális modelleket visz éles környezetbe.
Feladatok
- ▹Építi és fejleszti a Gcore Inference platform inferencia-rétegét.
- ▹Inferencia-keretrendszereket, például vLLM, SGLang, NVIDIA Dynamo és TensorRT-LLM integrál és üzemeltet.
- ▹Új nyelvi és multimodális modelleket visz éles környezetbe.
- ▹Javítja az inferencia-latenciát, az áteresztőképességet, a memóriahasználatot, a GPU-kihasználtságot és a költséghatékonyságot.
- ▹Teljesítmény- és megbízhatósági problémákat hárít el modellkódban, inferencia-keretrendszerekben, GPU-végrehajtásban, hálózatban és Kubernetesben.
- ▹Platform-, infrastruktúra-, termék- és ügyfélkapcsolati csapatokkal dolgozik együtt, hogy az inferencia-fejlesztéseket megbízható termékfunkciókká alakítsa.
- ▹Hozzájárul nyílt forráskódú inferencia-projektekhez, ahol indokolt.
Elvárások
- ▹5+ év tapasztalat megbízható, jól tesztelt éles kód írásában.
- ▹Erős Python-tudás és tapasztalat éles rendszerek tervezésében.
- ▹Gyakorlati tapasztalat PyTorch-csal és gépi tanulási modellek éles bevezetésével.
- ▹Tapasztalat Linuxszal, Dockerrel és Kubernetesszel.
- ▹Tapasztalat legalább egy releváns területen: elosztott rendszerek, GPU-számítás, ML runtime-ok, modelloptimalizálás vagy klaszter-ütemezés.
- ▹Képesség összetett problémák hibakeresésére szoftver, infrastruktúra és hardver keresztmetszetében.
- ▹Erős érzék a fejlesztői élmény iránt: nem csak azt nézi, hogyan működnek a rendszerek, hanem hogy hogyan használják őket.
- ▹Valódi érdeklődés az inferencia-engineering iránt; közvetlen inferencia-motor tapasztalat nem feltétel, de motiváció a tanulásra igen.
- ▹Jó kommunikációs és együttműködési készség.
Előny
- ▹Tapasztalat vLLM-mel, SGLang-gal, NVIDIA Dynamóval, TensorRT-LLM-mel vagy hasonló inferencia-keretrendszerrel.
- ▹Tapasztalat GPU-terhelések éles futtatásában.
- ▹Ismeretek inferencia-technikákról, mint kvantálás, folyamatos batching, spekulatív dekódolás, prefix caching, chunked prefill vagy LoRA serving.
- ▹Tapasztalat CUDA-val, Tritonnal, TensorRT-vel vagy más GPU-programozási eszközökkel.
- ▹Tapasztalat modell-latencia, -áteresztőképesség, -memóriahasználat vagy -GPU-kihasználtság profilozásában és javításában.
- ▹Tapasztalat elosztott inferenciával, több GPU-s rendszerekkel, ütemezéssel vagy autoscalinggel.
- ▹Hozzájárulás nyílt forráskódú ML-, inferencia- vagy infrastruktúra-projektekhez.
Soft skillek
Fejlesztői élmény iránti érzékJó kommunikációs és együttműködési készségValódi érdeklődés a tanulás iránt
Amit kínálunk
- ▹Versenyképes bérezés.
- ▹Rugalmas munkaidő és hibrid vagy távmunka-lehetőség, szerepkörtől függően.
- ▹Bárhonnan dolgozhatsz a világon évi 45 napig.
- ▹Magánegészségügyi biztosítás a dolgozónak és családjának.
- ▹Extra fizetett szabadság és betegszabadság napok.
- ▹Támogatás fontos életeseményekhez és ünnepekhez.
- ▹Nyelvtanfolyamok.
- ▹Modern, barátságos irodák snackekkel, italokkal és szórakozási lehetőségekkel.
- ▹Csapatsport és közösségi programok.
A munkáltatóról
A Gcore globális infrastruktúra- és szoftvermegoldás-szolgáltató AI, felhő, hálózati és biztonsági területen, amely a valós idejű kommunikációtól a streamingen át a vállalati AI-ig biztosítja a digitális élmények mögötti alapokat.
Hasonló állások

Állás
· Senior
Senior AI Systems Engineer
Snyk
AI/MLData Science
+6
💰 Bér: nincs megadva
🔀 Hibrid
United Kingdom - London Office
🗣️ EN

Állás
· Senior
Senior Manager, Machine Learning & AI – Finance
ATOMS
AI/MLData Science
+7
220 000–250 000 USD/év
bruttó
🏢 Helyszíni
San Francisco
🗣️ EN

Állás
· Senior
Senior AI Specialist
Coursera
AI/MLDatabricks
+7
💰 Bér: nincs megadva
🏢 Helyszíni
🗣️ EN

Állás
· Senior
Architecte IA Senior (H/F)
ALTEN
AI/ML
+8
45 000–65 000 EUR/év
bruttó
🏢 Helyszíni
Boulogne-Billancourt

Állás
· Senior
Senior CI/CD & AI Tooling Engineer
Regnology
+7
💰 Bér: nincs megadva
🌍 Remote
csak Lengyelország
🗣️ EN
Himalayas

Állás
· Senior
Senior Associate - AI
Davies
AI/MLData Science
+7
💰 Bér: nincs megadva
🏢 Helyszíni
Viman Nagar – Pune
🗣️ EN