Senior Engineering Manager, Model Infrastructure

Stack

Feladatok

• ▹Nagy teljesítményű szoftvermérnök-csapat vezetése és fejlesztése a Model Infrastructure platformért
• ▹Technikai ütemterv meghatározása a modell megbízhatóságához, skálázhatóságához és üzemeltetési kiválóságához
• ▹Megbízható rendszerek építése modellek biztosítására, kapacitáskezelésre, failoverre és incidenskezelésre több AI-szolgáltatónál
• ▹A multi-provider modellplatform (integrációk, SDK-frissítések, API-migrációk, új szolgáltatók bevezetése) felügyelete
• ▹Az Unified Model Controller (UMC) és Model Selector platform fejlesztése az állapot, késleltetés, minőség, megfelelőség és költség alapú intelligens forgalomirányításhoz
• ▹Megfigyelhetőség javítása állapot-dashboardokkal, riasztásokkal, tokenhasználati elemzéssel és költségjelentéssel
• ▹Együttműködés a Product Engineeringgel új modellindításokhoz, kapacitástervezéshez és proaktív production monitoringhoz
• ▹Az inferencia-hatékonyság javítása, infrastruktúraköltségek csökkentése, modellkihasználtság növelése
• ▹A jövőbeli modell-tréning infrastruktúra megalapozása (adatfolyamatok, model ops, tréningkörnyezetek)
• ▹Együttműködés a vezetőséggel hosszú távú AI-infrastruktúra stratégiában és beszállítói kapcsolatokban
• ▹Mérnöki tehetségek toborzása, mentorálása és fejlesztése

Elvárások

• ▹8+ év szoftvermérnöki tapasztalat, ebből több év nagy teljesítményű mérnökcsapatok vezetésében
• ▹Tapasztalat nagy léptékű elosztott rendszerekért vagy felhőinfrastruktúráért felelős csapatok vezetésében
• ▹Erős technikai háttér, amely lehetővé teszi az architekturális döntések irányítását és senior mérnökök mentorálását
• ▹Tapasztalat magas rendelkezésre állású production szolgáltatások üzemeltetésében, megbízhatósági fókusszal
• ▹Tapasztalat skálázhatóságot, megfigyelhetőséget, automatizálást és költségoptimalizálást igénylő platformok építésében
• ▹Erős kereszt-funkcionális vezetői készségek, hatékony együttműködés mérnöki, kutatási, termék- és külső partnercsapatokkal
• ▹Kiváló kommunikációs készség és képesség a technikai stratégia befolyásolására szervezeteken átívelően
• ▹Elhivatottság csapatépítés és mérnöki tehetségfejlesztés iránt

Előny

• ▹Tapasztalat AI-infrastruktúrával, LLM-kiszolgálással vagy gépi tanulási platformokkal
• ▹Tapasztalat több modellszolgáltatóval (OpenAI, Anthropic, Azure OpenAI, Fireworks, Baseten vagy nyílt forráskódú modellökoszisztémák)
• ▹Tapasztalat inferencia-platformok, modell-gatewayk, forgalomirányító rendszerek vagy szabályalapú kiszolgáló infrastruktúra építésében
• ▹Tapasztalat Kubernetesszel, felhőinfrastruktúrával, elosztott rendszerekkel és nagy léptékű megfigyelhetőségi platformokkal
• ▹Tapasztalat GPU-infrastruktúra, modelltréning-platformok vagy ML-infrastruktúra támogatásában
• ▹Ismertség adatplatformokkal és technológiákkal, mint a Spark, Kafka, Flink, Airflow vagy Iceberg
• ▹Tapasztalat szervezetek vezetésében gyors növekedési és technikai átalakulási időszakokban

Soft skillek

A munkáltatóról

A Harvey a jogi és professzionális szolgáltatások szektorát alakítja át frontier agentikus AI-val, vállalati szintű platformmal és mély szakterületi tudással. 1500+ ügyfél 60+ országban.