
Állás
· Lead
Termékvezető – MI/ML (kiértékelések)
AI / ML Engineer
• Lead
• Remote
• Teljes munkaidő
•
SF Office, USA
Az Abridge MI-minőségmérő (evals) platformjának termékstratégiáját és megvalósítását irányító termékmenedzsert keres. A szerep 10+ csapattal dolgozik együtt, és szabványt teremt az MI minőségének mérésére.
Stack
Feladatok
- ▹A kiértékelő platform termékstratégiájának és megvalósításának irányítása
- ▹Az ütemterv és a hozzá kötött eredmények felelőse a kiértékelés teljes életciklusában
- ▹Közös mérési infrastruktúra építése, amellyel bármelyik csapat definiálhatja a minőséget, futtathat kísérleteket, összehasonlíthat modelleket és figyelheti az éles működést
- ▹Az LLM-bírák, a szabályalapú kiértékelők, az emberi annotáció és az online monitorozás szabványainak kialakítása, és annak tisztázása, melyik hová tartozik
- ▹A modellválasztás gyorssá és rutinná tétele: ismételhető módszer egy új élvonalbeli modell napokon belüli kiértékelésére, valamint keretrendszer annak eldöntésére, mikor éri meg egy utántanított szakmodell a promptolt élvonalbeli modellel szemben
- ▹A kiértékelő rendszer modellfüggetlenségének megőrzése, hogy semleges bíró maradjon
- ▹A csapatokon átívelő működési modell kialakítása: kiértékelési kapuk a korai fejlesztéstől az általános elérhetőségig és a folyamatos monitorozásig, kemény és tanácsadó kapuk, valamint a kritikus hibaarányok felelőse
- ▹Együttműködés az adatmérnökséggel az azonosítás-mentesítési folyamatban, az adattudománnyal a bírák minőségének kevesebb emberi annotációval való kialakításán, a klinikai tudománnyal a megjelölt éles esetekről, és az ágensplatform-csapattal a munkafolyamatok ágensessé válásakor
Elvárások
- ▹Legalább 5 év termékmenedzseri tapasztalat, jelentős felelősséggel ML-alapú termékekért vagy platformrendszerekért
- ▹Mély megértés a modellminőség mérésének és javításának módjairól: kiértékelési keretrendszerek, annotációs folyamatok, benchmarktervezés
- ▹Erős műszaki jártasság az ML, az adatfolyamatok és az elosztott rendszerek területén
- ▹Tapasztalat ML-kutatókkal és mérnökökkel való szoros együttműködésben az éles hatás érdekében
- ▹A hosszú távú architekturális befektetések és a rövid távú minőségjavítások egyensúlyozása
- ▹Erős kommunikációs készség: összetett műszaki fogalmak érthető döntésekké és narratívákká fordítása
- ▹Bizonyított eredmények olyan területeken, ahol a pontosság, a megbízhatóság és a bizalom elsődleges
- ▹Képesség arra, hogy formális hatáskör nélkül, a nem általad vezetett csapatokban is érvényt szerezz a megoldásnak
Előny
- ▹Tapasztalat kiértékelő platformok, ML-megfigyelhetőségi rendszerek vagy minőségmérő folyamatok építésében
- ▹Munka klinikai, egészségügyi vagy szabályozott környezetben, magas pontossági és megfelelőségi igénnyel
- ▹Tapasztalat szakterület-specifikus modelladaptációkban
- ▹Tapasztalat személyre szabást végző rendszerekkel, kontextusbetöltő keretrendszerekkel vagy ambiens intelligencia termékekkel
- ▹Tapasztalat emberi visszacsatolásos (human-in-the-loop) nagy léptékű ML-termékek szállításában
Soft skillek
Erős kommunikációBefolyásolás formális hatáskör nélkülMagas elvárás a minőséggel, a sebességgel és a felelősségvállalással szemben
Amit kínálunk
- ▹14 fizetett ünnepnap, rugalmas fizetett szabadság fizetéses munkatársaknak
- ▹Orvosi, fogászati és látásbiztosítás a teljes munkaidős munkatársaknak és családjuknak
- ▹Havi munkáltatói HSA-hozzájárulás magas önrészes egészségbiztosítás esetén
- ▹Bőkezű fizetett szülői szabadság
- ▹Családalapítási támogatás
- ▹401(k) hozzájárulás-kiegészítés
- ▹Személyes eszközök használatára adómentes juttatás
- ▹Adózás előtti juttatások (FSA, ingázási támogatás)
- ▹Havi Lifestyle Wallet fitnesz, szakmai fejlődés, coworking és egyéb célokra
- ▹Mentálhigiénés támogatás: terápia és coaching
- ▹Fizetett szabbatikus szabadság 5 év után
- ▹Versenyképes fizetés és részvényjuttatás teljes munkaidős munkatársaknak
A munkáltatóról
Az Abridge 2018-ban alakult azzal a céllal, hogy mélyebb megértést teremtsen az egészségügyben. MI-alapú platformja orvos–beteg beszélgetéseket alakít valós időben strukturált klinikai jegyzetekké, mély EMR-integrációkkal. Irodái San Franciscóban, New Yorkban és Pittsburghben vannak.
Hasonló állások

Állás
· Lead
Lead AI/ML Engineer
Arkestro
AI/MLData ScienceDbt
+4
160 000–190 000 USD/év
bruttó
🏢 Helyszíni
🗣️ EN

Állás
· Lead
Sr. Lead - AI Engineer
Klaviyo
AI/MLCeleryData Science
+6
216 000–324 000 USD/év
bruttó
🏢 Helyszíni
Boston
🗣️ EN

Állás
· Lead
Lead AI Engineer
Alphalifesci
AI/MLCppData ScienceLlm
+1
150 000–230 000 USD/év
bruttó
🔀 Hibrid
Jersey City
🗣️ EN

Állás
· Lead
Lead AI Engineer
Air
AI/MLData ScienceLlm
+1
💰 Bér: nincs megadva
🏢 Helyszíni
Pittsburgh
🗣️ EN

Állás
· Lead
Senior Lead AI Engineer
IFS
AI/MLAzure DevopsBicepBitbucket
+6
💰 Bér: nincs megadva
🏢 Helyszíni
Colombo
🗣️ EN

Állás
· Lead
Lead AI Engineer
Blend360
AI/MLDatabricksData Science
+6
💰 Bér: nincs megadva
🔀 Hibrid
Buenos Aires
🗣️ EN