Senior szoftvermérnök – AI kiértékelés (Evals)

Stack

Feladatok

• ▹Robusztus kiértékelési keretrendszerek tervezése és építése a pontosság, megbízhatóság, regressziók és szélsőséges esetek mérésére AI-rendszerekben
• ▹Magas minőségű adathalmazok, etalon (golden) tesztesetek és benchmarkok létrehozása és kurálása valós éles adatok alapján
• ▹Automatizált tesztkeretek és metrika-pipeline-ok építése modellek, promptok és ágens-workflow-k folyamatos kiértékelésére
• ▹Szoros együttműködés alkalmazott AI-mérnökökkel és termékvezetőkkel a 'jó' definiálásában és mérhető kritériumokká alakításában
• ▹A kiértékelési életciklus tulajdonlása nagyobb AI-kezdeményezéseknél, a korai kísérletezéstől az éles monitorozásig

Elvárások

• ▹Minimum 5+ év professzionális tapasztalat, alapszakos diploma informatika, gépi tanulás vagy kapcsolódó terület
• ▹Tapasztalat komplex rendszerek tesztelési, kiértékelési vagy adat-infrastruktúrájának építésében (AI/ML tapasztalat erősen preferált)
• ▹Termelési minőségű kód írása (Python és TypeScript)
• ▹Tapasztalat strukturált és strukturálatlan adathalmazokkal, címkézési workflow-kkal vagy adatminőségi pipeline-okkal
• ▹Modern ML-rendszerek és kiértékelési technikák ismerete (pl. offline metrikák, online kiértékelés, regressziós tesztelés modellekhez vagy promptokhoz)

Előny

• ▹Tapasztalat LLM-ek, ágens-rendszerek vagy AI-alapú fejlesztői eszközök kiértékelésében

Soft skillek

Amit kínálunk

• ▹Ösztönző javadalmazási program
• ▹Részvényjuttatás (equity)
• ▹Fizetett szabadság
• ▹Csoportos egészségbiztosítás

A munkáltatóról

A Sentry alkalmazásfigyelő platformja több mint 200 000 szervezetnél segíti a fejlesztőket, hogy a felhasználók előtt vegyék észre és javítsák a hibákat és teljesítményproblémákat; a csapat jelenleg az AI-natív jövőt építi.