Állás · Lead

Termékvezető – MI/ML (kiértékelések)

AI / ML Engineer • Lead • Remote • Teljes munkaidő • Amerikai Egyesült Államok SF Office, USA

Az Abridge MI-minőségmérő (evals) platformjának termékstratégiáját és megvalósítását irányító termékmenedzsert keres. A szerep 10+ csapattal dolgozik együtt, és szabványt teremt az MI minőségének mérésére.

Feladatok

  • ▹A kiértékelő platform termékstratégiájának és megvalósításának irányítása
  • ▹Az ütemterv és a hozzá kötött eredmények felelőse a kiértékelés teljes életciklusában
  • ▹Közös mérési infrastruktúra építése, amellyel bármelyik csapat definiálhatja a minőséget, futtathat kísérleteket, összehasonlíthat modelleket és figyelheti az éles működést
  • ▹Az LLM-bírák, a szabályalapú kiértékelők, az emberi annotáció és az online monitorozás szabványainak kialakítása, és annak tisztázása, melyik hová tartozik
  • ▹A modellválasztás gyorssá és rutinná tétele: ismételhető módszer egy új élvonalbeli modell napokon belüli kiértékelésére, valamint keretrendszer annak eldöntésére, mikor éri meg egy utántanított szakmodell a promptolt élvonalbeli modellel szemben
  • ▹A kiértékelő rendszer modellfüggetlenségének megőrzése, hogy semleges bíró maradjon
  • ▹A csapatokon átívelő működési modell kialakítása: kiértékelési kapuk a korai fejlesztéstől az általános elérhetőségig és a folyamatos monitorozásig, kemény és tanácsadó kapuk, valamint a kritikus hibaarányok felelőse
  • ▹Együttműködés az adatmérnökséggel az azonosítás-mentesítési folyamatban, az adattudománnyal a bírák minőségének kevesebb emberi annotációval való kialakításán, a klinikai tudománnyal a megjelölt éles esetekről, és az ágensplatform-csapattal a munkafolyamatok ágensessé válásakor

Elvárások

  • ▹Legalább 5 év termékmenedzseri tapasztalat, jelentős felelősséggel ML-alapú termékekért vagy platformrendszerekért
  • ▹Mély megértés a modellminőség mérésének és javításának módjairól: kiértékelési keretrendszerek, annotációs folyamatok, benchmarktervezés
  • ▹Erős műszaki jártasság az ML, az adatfolyamatok és az elosztott rendszerek területén
  • ▹Tapasztalat ML-kutatókkal és mérnökökkel való szoros együttműködésben az éles hatás érdekében
  • ▹A hosszú távú architekturális befektetések és a rövid távú minőségjavítások egyensúlyozása
  • ▹Erős kommunikációs készség: összetett műszaki fogalmak érthető döntésekké és narratívákká fordítása
  • ▹Bizonyított eredmények olyan területeken, ahol a pontosság, a megbízhatóság és a bizalom elsődleges
  • ▹Képesség arra, hogy formális hatáskör nélkül, a nem általad vezetett csapatokban is érvényt szerezz a megoldásnak

Előny

  • ▹Tapasztalat kiértékelő platformok, ML-megfigyelhetőségi rendszerek vagy minőségmérő folyamatok építésében
  • ▹Munka klinikai, egészségügyi vagy szabályozott környezetben, magas pontossági és megfelelőségi igénnyel
  • ▹Tapasztalat szakterület-specifikus modelladaptációkban
  • ▹Tapasztalat személyre szabást végző rendszerekkel, kontextusbetöltő keretrendszerekkel vagy ambiens intelligencia termékekkel
  • ▹Tapasztalat emberi visszacsatolásos (human-in-the-loop) nagy léptékű ML-termékek szállításában

Soft skillek

Erős kommunikációBefolyásolás formális hatáskör nélkülMagas elvárás a minőséggel, a sebességgel és a felelősségvállalással szemben

Amit kínálunk

  • ▹14 fizetett ünnepnap, rugalmas fizetett szabadság fizetéses munkatársaknak
  • ▹Orvosi, fogászati és látásbiztosítás a teljes munkaidős munkatársaknak és családjuknak
  • ▹Havi munkáltatói HSA-hozzájárulás magas önrészes egészségbiztosítás esetén
  • ▹Bőkezű fizetett szülői szabadság
  • ▹Családalapítási támogatás
  • ▹401(k) hozzájárulás-kiegészítés
  • ▹Személyes eszközök használatára adómentes juttatás
  • ▹Adózás előtti juttatások (FSA, ingázási támogatás)
  • ▹Havi Lifestyle Wallet fitnesz, szakmai fejlődés, coworking és egyéb célokra
  • ▹Mentálhigiénés támogatás: terápia és coaching
  • ▹Fizetett szabbatikus szabadság 5 év után
  • ▹Versenyképes fizetés és részvényjuttatás teljes munkaidős munkatársaknak

A munkáltatóról

Az Abridge 2018-ban alakult azzal a céllal, hogy mélyebb megértést teremtsen az egészségügyben. MI-alapú platformja orvos–beteg beszélgetéseket alakít valós időben strukturált klinikai jegyzetekké, mély EMR-integrációkkal. Irodái San Franciscóban, New Yorkban és Pittsburghben vannak.

Hasonló állások