LLM Serving mérnök (Cloud AI Engineering), Senior / Staff

Stack

Feladatok

• ▹Skálázható LLM inferencia platform építése (disaggregated serving, KV-cache kezelés, fejlett párhuzamosítás, spekulatív algoritmusok, modelloptimalizálás, dedikált kernelek).
• ▹Közreműködés LLM serving csomagok fejlesztésében (vLLM, SGLang, TGI, Triton Inference Server, Dynamo, LLM-d).
• ▹Szoros együttműködés az ügyfelekkel, valamint a belső compiler-, firmware- és platformcsapatokkal.
• ▹Fejlett algoritmusok (attention mechanizmusok, MoE-k) és numerikus módszerek megértése új optimalizálási lehetőségek azonosításához.
• ▹Hatékony serving biztosítása intelligens autoscaling, terheléselosztás és routing révén.
• ▹Aktív részvétel a nyílt forráskódú serving közösségekben.

Elvárások

• ▹Számítástechnika, informatika, mérnöki vagy villamosmérnöki alapszak és 4+ év tapasztalat (vagy mesterdiploma és 3+ év, vagy PhD és 2+ év).
• ▹MSc számítástechnika, gépi tanulás, számítástechnika-mérnöki vagy villamosmérnöki területen.

Előny

• ▹Gyakorlati tapasztalat LLM serving/orchestration csomagokkal (Triton Inference Server, vLLM, SGLang, Ollama, llm-d, KServe, LMCache, MoonCake).
• ▹Alapos ismeretek nagy nyelvi modellekről, VLM-ekről, SLM-ekről, transformer-architektúrákról.
• ▹Erős tapasztalat nyelvi modellek fejlesztésében PyTorch-csal.
• ▹Erős informatikai alapok: algoritmusok, adatstruktúrák, párhuzamos és elosztott programozás.
• ▹Számítógép-architektúra, ML-gyorsítók, in-memory feldolgozás és elosztott rendszerek ismerete.
• ▹Erős Python fejlesztői készségek nagyléptékű projektekhez.
• ▹Mélytanuló workload-ok elemzésének, profilozásának és optimalizálásának tapasztalata.
• ▹Nyílt forráskódú hozzájárulás bármely GenAI csomaghoz.
• ▹Nagyméretű elosztott rendszerek architektúrájának és fejlesztésének tapasztalata.
• ▹Magas szintű kernel-tervezési tapasztalat (PyTorch, CUDA, Triton).
• ▹torch.compile vagy torchDynamo ismerete.
• ▹PhD számítástechnika, számítástechnika-mérnöki vagy gépi tanulás területen.

Soft skillek

Amit kínálunk

• ▹Éves diszkrecionális bónuszprogram.
• ▹Éves RSU-juttatás (részvényjuttatás).
• ▹Versenyképes juttatási csomag.

A munkáltatóról

A Qualcomm hagyományos vezeték nélküli technológiai erősségeit a Cloud AI fejlődésének középpontjába állítja, hardver- és szoftvermegoldásokat fejlesztve az inferenciagyorsításhoz.