Állás · Senior

Senior szoftvermérnök - LLM Ops és kiértékelés

Szoftverfejlesztő • Senior • Hibrid • Teljes munkaidő • Hollandia Amsterdam, Hollandia

A DataSnipper minden AI-hívása a csapatod átjáróján megy át: te felelsz az inferencia útválasztásáért, hibatűréséért és költségéért, valamint az AI-minőséget mérő kiértékelő platformért.

Feladatok

  • ▹Az LLM-átjáró üzemeltetése: útválasztás, szolgáltatók közti átváltás hiba esetén, rate limitek, újrapróbálkozások és költségelszámolás több modellszolgáltató között
  • ▹Modellek telepítése, verziózása és kivezetése felhők, régiók és környezetek között, kvóta- és kapacitástervezéssel, infrastruktúra kódként kezelve
  • ▹A közös kiértékelő platform építése: verziózott adathalmazok, kísérletkövetés, futtatási és eredménysémák, riportok, a futtatásra visszamutató nyomkövetés
  • ▹Az aszinkron és hosszan futó AI-munkafolyamatok infrastruktúrájának üzemeltetése
  • ▹Az AI-forgalom megfigyelhetősége: késleltetés, újrapróbálkozások és fallbackek, tokenhasználat, költség és hibák csapatonként és felhasználási esetenként
  • ▹Részvétel az ügyeleti rotációban, incidensek vezetése és a követő feladatok lezárása
  • ▹A platformtól elvárt biztonsági és megfelelőségi kontrollok megvalósítása: adatmegőrzés, hozzáférés-szabályozás, RBAC és SSO
  • ▹Tiszta integrációs szerződések kialakítása és karbantartása a platform és a felhasználó csapatok között
  • ▹Együttműködés a termék- és ML-mérnökökkel, hogy az igényeikből önkiszolgáló platformképességek legyenek

Elvárások

  • ▹5+ év backend- vagy platformmérnöki tapasztalat, erős éles Python-tudással
  • ▹Tapasztalat LLM-inferencia-infrastruktúra építésében vagy üzemeltetésében: több szolgáltatós átjáró vagy útválasztó réteg, failover, rate limiting, költségelszámolás
  • ▹Felhőtapasztalat infrastruktúra szintjén és infrastructure as code (Azure és GCP, Terraform)
  • ▹Tapasztalat megosztott szolgáltatás éles üzemeltetésében: ügyelet, incidensek, postmortemek, SLO-k
  • ▹Gyakorlati tapasztalat megfigyelhetőségi eszközökkel (OpenTelemetry, Grafana), szolgáltatások instrumentálásával, dashboardok és riasztások tervezésével
  • ▹Jártasság az adatvédelmi és megfelelőségi munkában: PII-kezelés, anonimizálás, adatmegőrzés, hozzáférés-szabályozás
  • ▹Tapasztalat több belső csapat által használt platform- vagy megosztott szolgáltatás-képességek építésében

Előny

  • ▹Tapasztalat LLM- vagy ágens-kiértékeléssel
  • ▹Temporal vagy más tartós workflow-motor ismerete
  • ▹Saját üzemeltetésű inferencia, kapacitástervezés, terheléses tesztelés
  • ▹Szintetikus adat vagy dokumentum-anonimizáló pipeline-ok
  • ▹Document AI: VLM-ek, OCR, strukturált kinyerés és a hozzá tartozó metrikák
  • ▹Szakterületi tapasztalat a könyvvizsgálat, számvitel vagy fintech területén

Soft skillek

Felelősségvállalás: a munkát az elejétől a végéig viszed, felügyelet nélkül isFejlődésközpontú gondolkodás és építő visszajelzésKeresztfunkcionális kapcsolatok építéseAlkalmazkodóképesség bizonytalan helyzetekbenJó ítélőképesség, a sebesség és a pontosság egyensúlya

A munkáltatóról

A DataSnipper könyvvizsgálati és pénzügyi munkafolyamatokat automatizáló, saját erőből növekedett, 1 milliárd dolláros értékű cég, több mint 600 000 felhasználóval 180+ országban. Excel Agent termékével az AI-t közvetlenül az Excelbe viszi, teljes nyomon követhetőséggel.

Hasonló állások