Staff szoftvermérnök – Modell-infrastruktúra

Stack

Feladatok

• ▹A Harvey Model Infrastructure platformjának tervezésének és megvalósításának vezetése
• ▹Magas rendelkezésre állást, alacsony késleltetést és üzemeltetési kiválóságot biztosító rendszerek építése az AI-inferenciához
• ▹Az Unified Model Controller (UMC) és a Model Selector platform fejlesztése a modell-degradáció automatikus felismerésére és a forgalom intelligens irányítására
• ▹Rendszerek fejlesztése a modell-provisioninghoz, kapacitáskezeléshez, failoverhez és forgalomirányításhoz több AI-szolgáltatón keresztül
• ▹Új modell-szolgáltatók integrálása, szolgáltatói API-k és SDK-k karbantartása
• ▹A megfigyelhetőség javítása állapot-dashboardokkal, riasztásokkal, token-használati elemzésekkel, költségjelentéssel és end-to-end telemetriával
• ▹Együttműködés a termékfejlesztéssel modell-bevezetéseknél, kísérletezésnél és a produkciós AI-terhelések monitorozásánál
• ▹Az infrastruktúra hatékonyságának növelése kapacitástervezéssel, kihasználtság-optimalizálással és költség-átláthatósággal
• ▹Együttműködés az AI Research csapattal a modellértékelés, -tanítás és -bevezetés infrastrukturális alapjainak kialakításában
• ▹Kereszt-funkcionális technikai kezdeményezések vezetése, mérnökök mentorálása

Elvárások

• ▹7+ év szoftverfejlesztői tapasztalat nagyméretű, elosztott rendszerek építésében
• ▹Tapasztalat magas rendelkezésre állású produkciós szolgáltatások tervezésében és üzemeltetésében
• ▹Erős programozási ismeretek Go, Java, Python, Rust vagy C++ nyelven
• ▹Mély ismeretek elosztott rendszerekben, felhő-infrastruktúrában, hálózatokban és megfigyelhetőségben
• ▹Tapasztalat technikai projektek vezetésében több mérnöki csapaton átívelően
• ▹Képesség a hosszú távú architektúra és a pragmatikus végrehajtás egyensúlyban tartására
• ▹Erős kommunikációs és együttműködési készségek

Előny

• ▹Tapasztalat AI-infrastruktúrával, LLM-kiszolgálással vagy gépi tanulási platformokkal
• ▹Tapasztalat modell-routing, inference gateway vagy policy-alapú kiszolgáló rendszerekkel
• ▹Tapasztalat OpenAI, Anthropic, Azure OpenAI, Fireworks, Baseten vagy nyílt forráskódú LLM-ekkel
• ▹Tapasztalat Kubernetesszel, felhő-infrastruktúrával és service mesh technológiákkal
• ▹Tapasztalat nagyméretű megfigyelhetőségi és SRE legjobb gyakorlatokkal
• ▹Tapasztalat adatinfrastruktúra-technológiákkal, mint a Kafka, Spark, Flink, Airflow vagy Iceberg
• ▹Jártasság GPU-infrastruktúrában vagy modell-tanítási platformokban

Soft skillek

A munkáltatóról

A Harvey vállalati szintű, agentikus AI-platformot épít jogi és professzionális szolgáltatók számára; jelenleg 2400+ ügyfelet szolgál ki 70+ országban.