Applied AI Inference mérnök

Stack

Feladatok

• ▹Jelenlegi inference technikák bevezetése és finomítása éles környezetben
• ▹Serving architektúrák tervezése és optimalizálása, beleértve a prefill/decode szétválasztást, kérés-routingot és kapcsolódó megközelítéseket
• ▹Munka a serving stack mélyén, a vLLM és SGLang keretrendszerektől a mögöttes CUDA kernelekig, profilírozással és mély elemzéssel a teljesítményproblémák felderítésére és javítására
• ▹Optimalizációs módszerek adaptálása és skálázása különböző ML-modelltípusokra, elsősorban nagy nyelvi modellekre
• ▹Bevetések profilírozása és finomhangolása latencia-, áteresztőképesség- és költségcélok mentén, megbízható működés valós terhelés alatt
• ▹Bevetések testreszabása ügyfelenként, együttműködve az ügyfél mérnökcsapataival a proof of concepttől az éles, jól monitorozott szolgáltatásig
• ▹Az inference stack körüli szoftver és termékfunkciók építése és támogatása éles környezetben (elsősorban Pythonban)
• ▹Gyors kísérletezés: homályos célok tiszta specifikációkká és fókuszált proof of conceptekké alakítása, jól tesztelt eredmények gyors szállítása
• ▹A teljesítménycél végponttól végpontig való tulajdonlása, az első kísérlettől az éles optimalizációig, termékkövetelmény-dokumentumok közös kidolgozása más mérnöki és termékcsapatokkal

Elvárások

• ▹BSc, MSc vagy PhD számítástechnikából, mérnöki tudományból, matematikából vagy kapcsolódó területről
• ▹Gyakorlati tapasztalat éles kód szállításában legalább egy általános célú nyelven (Python vagy C++, előnyben a Python)
• ▹Jártasság az LLM-ek nagy áteresztőképességű / alacsony latenciájú inference optimalizálásának módszereiben
• ▹Kényelem modern LLM serving keretrendszerekkel (vLLM, SGLang), profilírozás és teljesítményelemzés kernel-szintig
• ▹Szilárd ismeretek a GPU-k felépítéséről és viselkedéséről
• ▹Kifejezett érdeklődés és gyakorlati tapasztalat nagy nyelvi modellekkel
• ▹Az AI/ML pipeline-ok és a modellfejlesztés-bevezetés teljes útjának ismerete
• ▹Erős kommunikációs készség, különösen komplex technikai témák ügyfeleknek és csapattársaknak való elmagyarázásában

Előny

• ▹Bizonyított eredmények szoftverrendszerek gyorsításában, különösen nagy nyelvi modelleknél
• ▹CUDA vagy hasonló technológiákkal szerzett tapasztalat
• ▹Erős szoftverfejlesztési alapok, AI/ML inference rendszerek építésének és szállításának tapasztalatával
• ▹Docker és Kubernetes tapasztalat
• ▹Korábbi munka AI/ML projektek építésében vagy finomhangolásában, különösen ügyfélorientált környezetben

Soft skillek

Amit kínálunk

• ▹Versenyképes fizetés és részvényopció-csomag (RSU)
• ▹Fizetett szabadság, ünnepnapok és szabadságolási programok
• ▹Átfogó egészségügyi, fogászati és látásbiztosítás
• ▹Munkáltatói HSA-hozzájárulás
• ▹Fizetett szülői szabadság
• ▹Fizetett élet-, rövid- és hosszútávú rokkantsági biztosítás
• ▹Szakmai fejlődési támogatás és tandíj-visszatérítés
• ▹Mentális egészség és wellness támogatás
• ▹Közlekedési támogatás (parkolás és tömegközlekedés)
• ▹Mobiltelefon-hozzájárulás
• ▹401(k) nyugdíjprogram munkáltatói kiegészítéssel (max. 4%)
• ▹Fizetett önkéntes nap
• ▹Globális utazási biztosítás és sürgősségi segítségnyújtás
• ▹Napi étkezési hozzájárulás

A munkáltatóról

A Crusoe az egyetlen ground-up épített, vertikálisan integrált AI-infrastruktúra vállalat, amely a lánc minden rétegét - az energiától a tokenig - saját maga üzemelteti, hogy a világ legigényesebb AI-terheléseit is kiszolgálja.