Pretraining / Adatmérnök

Feladatok

• ▹Nagy teljesítményű pipeline-ok építése és karbantartása billiónyi token feldolgozásához
• ▹Sokszínű, magas minőségű adathalmazok szállítása az alapmodellek pretraining-jéhez
• ▹Szoros együttműködés a Pretraining, Posttraining, Evals és Product csapatokkal a modellminőség biztosítása érdekében
• ▹Ingesztiós, deduplikációs és streaming rendszerek fejlesztése petabájtos méretű adatokhoz
• ▹Híd megteremtése a nyers web crawl adatok és a GPU-klaszterek között adatmodellezéssel és elosztott pipeline-optimalizálással

Elvárások

• ▹Erős háttér termelési szintű, elosztott adatrendszerek építésében gépi tanuláshoz
• ▹Tapasztalat orkesztrációban: Slurm, Airflow vagy Dagster
• ▹Megfigyelhetőség és megbízhatóság: CI/CD, Grafana, Prometheus
• ▹Infra tapasztalat: Git, Docker, k8s, felhő menedzselt szolgáltatások
• ▹Batch inferencia tapasztalat (pl. vLLM)
• ▹Teljesítmény iránti elköteleződés nagy léptékű rendszereknél

Soft skillek

Amit kínálunk

• ▹Elosztott csapat Európa és Észak-Amerika között
• ▹Havi 3 napos (hétfő-szerda) személyes találkozó Párizsban, nyitott lehetőséggel egész hétre maradni
• ▹Évente egyszer hosszabb offsite

A munkáltatóról

A Poolside az USA-ban alapított cég, amely az AGI elérésére törekszik a szoftverfejlesztés felgyorsításával, agentikus rendszerekkel és kódolási asszisztensekkel; csapata Európa és Észak-Amerika között oszlik meg, havonta Párizsban találkoznak.