Szoftverfejlesztő - Benchmarking

Stack

Feladatok

• ▹Benchmark-adathalmazok előkészítése, tisztítása, karbantartása
• ▹Kiértékelési pipeline-ok építése modell-API-k és terminálügynökök között
• ▹Konténerizált kiértékelési környezetek és nézők fejlesztése
• ▹Kis nyílt forráskódú LLM-ek finomhangolásának támogatása
• ▹Ranglista/eredménytábla fejlesztése modell- és feladatszinten
• ▹Elemző eszközök építése hibamintázatok azonosítására
• ▹HTML nézők és belső eszközök fejlesztése adatannotáláshoz

Elvárások

• ▹4+ év professzionális szoftverfejlesztői tapasztalat
• ▹Erős Python-tudás
• ▹Robusztus, karbantartható kód írása

Soft skillek

A munkáltatóról

Az Office Hours egy igény szerinti szakértői hálózat, amely szakértőket köt össze vezető szervezetekkel tanácsadás, projektek és AI-modell tréning révén; ügyfelei közé digitális egészségügyi és technológiai cégek tartoznak.