Research engineer (ágens modellek)

Stack

Feladatok

• ▹SFT- és RL-alapú utótanítási folyamatok tervezése, megvalósítása és karbantartása többlépéses kódoló ágensekhez
• ▹LLM-ek tanítása és adaptálása ágens-munkafolyamatokhoz, például tervezéshez, eszközhasználathoz és többlépéses interakciókhoz a JetBrains IDE-kben
• ▹Kiértékelő és szimulációs környezetek építése, ahol a kódoló ágensek valósághű fejlesztői feladatokon mérhetők és összehasonlíthatók
• ▹Kiértékelési keretrendszerek és metrikák tervezése az ágensek viselkedéséhez, nyomok és naplók elemzése, a visszacsatolás a tanításba, az adatokba és a jutalmazás tervezésébe
• ▹Tanítási és kiértékelési eredmények elemzése, a modellarchitektúrák, tanítási receptek és adathalmazok javítása
• ▹Nagy léptékű infrastruktúrán való munka: elosztott tanítás GPU-klasztereken és MapReduce-típusú adatfeldolgozás
• ▹Szoros együttműködés a kutatási, termék- és infrastruktúra-csapatokkal

Elvárások

• ▹Kiterjedt gyakorlati tapasztalat LLM-ek tanításában (előtanítás, finomhangolás vagy utótanítás) kutatási vagy éles környezetben
• ▹Mély jártasság a modern deep learning keretrendszerekben, például a PyTorchban, és az LLM-tanítási stackekben (pl. Megatron, NeMo, verl)
• ▹Az LLM-alapok elméleti és gyakorlati ismerete: architektúrák, tokenizálás, adatfolyamatok, batching, vegyes pontosság, elosztott tanítás, instabil futások hibakeresése
• ▹Projektek végigvitele a probléma megértésétől a tervezésen, kísérletezésen és megvalósításon át az iterációig
• ▹Termékszemlélet: a fejlesztők ágenshasználatának megértése és a termékigények modellezési és kiértékelési feladatokká fordítása
• ▹Legalább 3 év Python-tapasztalat tiszta, karbantartható kód írásában modern ML-kódbázisokban

Előny

• ▹ML-orkesztrátorok és munkafolyamat-eszközök (Kubeflow, Dagster, Airflow, ZenML), ütemezők (Kubernetes, SLURM) ismerete
• ▹Nagy léptékű adat- és tanítási folyamatok, például MapReduce-klaszterek, több csomópontos GPU-tanítás, 1M+ CPU/GPU-órás terhelések
• ▹LLM-ek vagy ágensek kiértékelő folyamatainak tervezése és karbantartása: metrikák, dashboardok, kísérletkövetés, automatizált regressziós ellenőrzések
• ▹AI-ágensfejlesztés: eszközhasználó ágensek, tervezők, többlépéses kódolási munkafolyamatok, ágens-keretrendszerek
• ▹Kísérletkövetés és observability olyan eszközökkel, mint a Weights & Biases, az MLflow vagy a Langfuse
• ▹Inferenciaoptimalizálás és optimalizált modellek kiszolgálása éles környezetben

Soft skillek

A munkáltatóról

A JetBrains 2000 óta fejleszt fejlesztői eszközöket. Az AI-alapú asszisztensek és ágensek ma már a fejlesztők IDE-beli munkájának központi részei.