Adattudós — Agent kiértékelés és minőség

Stack

Feladatok

• ▹Automatizált kiértékelési pipeline-ok architektúrájának megtervezése és karbantartása
• ▹Agent-képességek lefordítása explicit pass/partial-pass/failure kritériumokra összetett, többlépéses feladatokhoz
• ▹Reprezentatív gold adatkészletek és regressziós csomagok építése valós munkafolyamatokra, edge case-ekre, adverzáriális szcenáriókra
• ▹Értelmes metrikák meghatározása: feladatsiker, eszközválasztási pontosság, utasításkövetés, tényszerű konzisztencia, latencia, költség, megbízhatóság
• ▹Determinisztikus és modell-alapú kiértékelők tervezése, LLM-as-a-judge rendszerek kalibrálása, kiértékelői egyetértés nyomon követése
• ▹Modellek, promptok, implementációk összehasonlítása szigorú offline kísérletekkel és termelési evidenciával
• ▹Nyomkövetések és termelési kimenetek elemzése gyökérok-azonosításhoz és hibataxonómia építéséhez
• ▹Termelési hibák regressziós esetekké alakítása, a kiértékelési lefedettség folyamatos bővítése
• ▹Dashboardok és release-minőségi jelzések építése
• ▹Javaslattétel a képesség-mérnököknek, a javítások minőségjavító hatásának ellenőrzése

Elvárások

• ▹4+ év alkalmazott adattudományi vagy gépi tanulási szerepkörben, kiértékelési rendszerek, automatizált adatpipeline-ok vagy termelési ML-infrastruktúra építésének és szállításának tapasztalatával
• ▹Automatizált kiértékelési keretrendszerek, sikerkritériumok és regressziós csomagok tervezésének és megvalósításának tapasztalata összetett AI/ML vagy agentikus rendszerekhez
• ▹Termelési szintű Python és SQL, nagy adathalmazokon futó automatizált analitikai pipeline-ok építésével és karbantartásával
• ▹Alkalmazott statisztikai és kísérleti készségek: szignifikanciateszt, varianciaelemzés, mintavétel nem-determinisztikus AI/ML rendszerek kiértékeléséhez
• ▹Címkézett adatkészletek, annotációs irányelvek és minőségbiztosítási folyamatok fejlesztésének tapasztalata
• ▹Szilárd LLM agent-viselkedés ismeret: eszközhasználat, többlépéses végrehajtás, retrieval, gyakorlati hibamódok
• ▹Bizonyított képesség modellnyomkövetések, eszközhívások és kimenetek elemzésére a gyökérok azonosítására
• ▹Termelési telemetria és megfigyelhetőségi adatok használatának tapasztalata dashboardépítéshez és valós felhasználói kimenetek elemzéséhez

Előny

• ▹Hands-on tapasztalat LLM-as-a-judge rendszerekkel, modell-alapú kiértékeléssel vagy AI benchmarking platformokkal
• ▹Termelési ML-termékek, agentikus rendszerek vagy ügyfél-orientált fogyasztói szoftverek szállításának vagy üzemeltetésének tapasztalata
• ▹Nyilvános kutatási benchmarkok vagy akadémiai kiértékelési módszertanok felülvizsgálatának és valós termékproblémákra adaptálásának tapasztalata

Soft skillek

A munkáltatóról

A Clera AI-alapú vezetői asszisztenst épít, amely e-mailen, naptárakon, meetingeken és üzleti szoftvereken keresztül működik.