Technikai munkatárs – kutatómérnök (Member of Technical Staff)

Stack

Feladatok

• ▹Éles tréningfutások teljesítményének, megbízhatóságának és numerikus stabilitásának javítása nagy multimodális generatív modelleknél
• ▹Teljes tréninglépések profilozása: modellkód, attention, kernelek, adatbetöltés, enkóderek, kommunikáció, optimalizáló lépések, checkpointing, memórianyomás
• ▹GPU-szintű optimalizációk implementálása és validálása: fúziós kernelek, attention útvonalak, alacsony pontosságú mátrixszorzások, kvantálási kernelek, CUDA/Triton/CuTe/CUTLASS kísérletek
• ▹Alacsony pontosságú tréning (FP8 / MXFP8 / FP4-szerű) fejlesztése, súly- és aktivációkvantálás, konvergencia-kockázat és minőségi kompromisszumok elemzése
• ▹Együttműködés kutatókkal az architektúra-változtatások hatékony tréning-implementációvá alakításában
• ▹Elosztott tréninghibák hibakeresése: NaN-ok, loss-tüskék, csendes numerikus eltérés, memóriaszivárgás, lassú vagy hibás node-ok, NCCL-problémák
• ▹Benchmarking és profilozó eszközök építése, amelyek megbízhatóvá teszik a teljesítmény-állításokat különböző hardvereken és konfigurációkban
• ▹A tréningcsapat segítése sürgős szűk keresztmetszetek esetén, ismétlődő hibákból jobb absztrakciók és eszközök kialakítása

Elvárások

• ▹Mély tapasztalat nagy léptékű tréning-rendszerekkel, ideális esetben tréningcsapatban, kutatókkal szoros együttműködésben
• ▹Erős PyTorch-tudás, beleértve alacsony szintű tréningkód olvasását és módosítását, nem csak magas szintű API-k használatát
• ▹Tapasztalat elosztott tréning fogalmakkal: FSDP, tensor/model/context/sequence parallelism, activation checkpointing, NCCL, számítás-kommunikáció átfedés
• ▹Gyakorlati tapasztalat tréning-átviteli sebesség, memóriaigény vagy stabilitás javításában valós tréningfutásoknál
• ▹GPU-munkaterhelések profilozási tapasztalata (Nsight Systems, Nsight Compute, torch profiler, trace viewerek, egyedi telemetria)
• ▹Gyakorlati GPU-teljesítmény-ítélőképesség: a helyesség, numerikus viselkedés és teljesítmény ellenőrzésének képessége
• ▹Alacsony pontosságú tréning és kvantálás megértése: FP8, MXFP8, FP4/NVFP4-szerű formátumok, skálázás, akkumuláció, numerikus validáció
• ▹Jó kutatói ítélőképesség: ablációkban való partneri közreműködés, mérési eredmények helyes értelmezése
• ▹Komfortos munkavégzés bizonytalan helyzetekben, legyen szó tiszta implementációról, éles hibáról vagy diagnosztikai rejtvényről

Előny

• ▹Élvonalbeli alapmodell tréningjének támogatása vagy társ-tulajdonlása, amely megjelent vagy jelentős kiadást ért el
• ▹Forward/backward GPU-kernelek írása vagy jelentős javítása, erős mérési és validációs fegyelemmel
• ▹Tapasztalat attention-teljesítménnyel, változó szekvenciahosszú tréninggel, nem szokványos attention-mintázatokkal
• ▹Tapasztalat Hopper vagy Blackwell osztályú GPU-kkal
• ▹Tapasztalat alacsony pontosságú tréninggel
• ▹Tapasztalat diffúziós, flow matching, DiT és multimodális generatív modell-tréninggel; LLM-háttérrel is nyitottság a diffúziós stack gyors elsajátítására
• ▹Természetes mozgás profiler-trace-ek, kernel-kód, elosztott rendszerhibák és kutatási diskurzus között

Soft skillek

Amit kínálunk

• ▹Versenyképes alapfizetés: EU 130 000–240 000 € + részvényopció; US 180 000–290 000 $ + részvényopció
• ▹Rugalmas munkavégzési modell: Freiburg vagy San Francisco heti 2 nap (vagy kéthetente egy teljes hét), illetve távmunka havi egy személyes hét mellett, fedezett utazási költséggel

A munkáltatóról

A Black Forest Labs a Latent Diffusion, Stable Diffusion és FLUX technológiák mögött álló csapat — olyan alapvető generatív AI-modelleket épít kép- és videókészítéshez, amelyeket világszerte milliók használnak. Székhelye a németországi Freiburgban van, növekvő San Franciscó-i jelenléttel.