Senior Research Scientist, modellértékelés

Stack

Feladatok

• ▹Ambiciózus új értékelési benchmarkok létrehozása, amelyek feszegetik a modellek képességeinek határait
• ▹Erősen keresztfunkcionális csapatokban a modell-visszajelzések megbízható, megismételhető értékelésekké alakítása
• ▹Kutatás az LLM-értékelési módszerek state-of-the-art szintjének előmozdítására, beleértve LLM bírók (judges) tanítását, LLM-alapú adatszintézis pipeline-ok finomítását és az értékelés hatékonyságának javítását
• ▹Skálázható és újrahasznosítható eszközök építése a modellteljesítmény elemzéséhez

Elvárások

• ▹Szívesen épít gyorsan prototípusokat, amelyek bemutatják az LLM-ek képességeinek határait, és fejleszt erőforrásokat ezek mérésére
• ▹Több tucat órát töltött komplex adatok és LLM kimenetek áttekintésével a magas adatminőség biztosítása érdekében
• ▹Megszállottan törekszik az AI-képességek szigorú mérésére, és arra, hogy a mérések valóban a fontos képességeket tükrözzék
• ▹Erős szoftvermérnöki készségek

Soft skillek

Amit kínálunk

• ▹Heti $75/£75 (vagy helyi megfelelője) ebédtámogatás
• ▹Teljes egészség- és fogászati juttatások, külön mentális egészség kerettel
• ▹RRSP matching, 401K, nyugdíjprogram
• ▹100%-os szülői szabadság kiegészítés akár 6 hónapig bármelyik szülőnek
• ▹Éves enrichment juttatások és oktatási és tanulási támogatás
• ▹6 hét fizetett szabadság (30 munkanap)
• ▹Utazási keret más irodákhoz a távmunkásoknak, valamint éves céges offsite
• ▹$500 home office támogatás; co-working juttatás azoknak, akik nincsenek iroda közelében