Gépi tanulási mérnök (tanítás-optimalizálás)

Stack

Feladatok

• ▹Nagyléptékű tanítási pipeline-ok optimalizálása (áteresztőképesség, konvergencia, stabilitás, költség)
• ▹Elosztott tanítási stratégiák fejlesztése (adat-, modell- és pipeline-párhuzamosság)
• ▹Optimalizálók, ütemezők, batch-méret és pontosság (bf16 / fp16 / fp8) hangolása
• ▹Tanítási idő és számítási költség csökkentése profilozással, szűk keresztmetszetek elemzésével és rendszerszintű fejlesztésekkel
• ▹Architektúra-tudatos tanítási stratégiák kidolgozása a kutatókkal
• ▹Robusztus tanítási infrastruktúra építése és karbantartása (checkpointolás, hibatűrés, reprodukálhatóság)
• ▹Új tanítási technikák értékelése és bevezetése (gradient checkpointing, ZeRO, FSDP, egyedi kernelek)
• ▹A tanítási teljesítménymutatók gazdája leszel

Elvárások

• ▹Erős tapasztalat nagy neurális hálók (LLM-ek vagy hasonló modellek) tanításában
• ▹Gyakorlati tapasztalat tanítás-optimalizálással, nem csak modellhasználattal
• ▹A backpropagation, az optimalizáló algoritmusok és a tanítási dinamika ismerete
• ▹Elosztott rendszerek ismerete ML-tanításhoz
• ▹PyTorch-tapasztalat (kötelező)
• ▹Kényelmes munka a hardverhez közel (GPU, memória, hálózati korlátok)

Előny

• ▹Nagyléptékű elosztott tanítás (több csomópont, több GPU)
• ▹DeepSpeed, FSDP, Megatron vagy egyedi tanítási stackek ismerete
• ▹Tanítás optimalizálása AMD vagy NVIDIA GPU-kon
• ▹Hozzájárulás nyílt forráskódú ML-infrastruktúrához vagy kutatási kódbázisokhoz
• ▹Nem Transformer architektúrák (RNN, hibrid modellek) ismerete

Soft skillek

Amit kínálunk

• ▹Valódi felelősség Series-A fázisban
• ▹Élvonalbeli modelleken és tanítási rendszereken dolgozhatsz nagy léptékben
• ▹Kis, erősen technikai csapat gyors visszajelzéssel
• ▹Versenyképes javadalmazás és érdemi részvényjuttatás