Member of Technical Staff - Inferencia

Stack

Feladatok

• ▹Több bérlős LLM-kiszolgáló platform építése, amely a felhős GPU-flották között működik
• ▹GPU-tudatos ütemezési és elhelyezési algoritmusok tervezése heterogén gyorsítókhoz
• ▹Több régiós/zónás failover és forgalomátirányítás megvalósítása a rugalmasság és költségkontroll érdekében
• ▹Automatikus skálázás, útvonalválasztás és terheléselosztás építése az átviteli sebességi és késleltetési SLO-k teljesítésére
• ▹Modell-elosztás és hidegindítási idők optimalizálása klaszterek között
• ▹LLM-inferencia keretrendszerek (vLLM, SGLang, TensorRT-LLM) integrálása és fejlesztése
• ▹Konfigurációk hangolása tensor/pipeline/expert parallelism, prefix caching és memóriakezelés terén a maximális teljesítményért
• ▹Kernel-, memóriasávszélesség- és transzport-profilozás; kvantálás és spekulatív dekódolás alkalmazása
• ▹Reprodukálható teljesítmény-tesztkészletek fejlesztése (késleltetés, átviteli sebesség, kontextushossz, batch méret, precizitás)
• ▹Elosztott inferencia beágyazása és optimalizálása az RL-stackben
• ▹CI/CD kialakítása artifact-promócióval, teljesítmény-kapukkal és reprodukálható build-ekkel
• ▹Megfigyelhetőség kiépítése: metrikák, naplók, tracing, strukturált incidenskezelés és SLO-menedzsment
• ▹Architektúrák, playbook-ok és API-szerződések dokumentálása, mentorálás és kereszt-funkcionális együttműködés

Elvárások

• ▹3+ év tapasztalat nagy léptékű ML/LLM szolgáltatások építésében és üzemeltetésében, egyértelmű késleltetési/rendelkezésre állási SLO-kkal
• ▹Gyakorlati tapasztalat legalább egy inferencia-backenddel (vLLM, SGLang, TensorRT-LLM)
• ▹Jártasság elosztott, dekomponált kiszolgáló infrastruktúrában (pl. NVIDIA Dynamo)
• ▹Mély megértés a prefill vs. decode fogalmakról, KV-cache viselkedésről, batchingről, samplingről, spekulatív dekódolásról, parallelizmus-stratégiákról
• ▹Teljes stack hibakeresési képesség: CUDA/NCCL, driverek/kernelek, konténerek, service mesh/hálózat, tárolás
• ▹Python: rendszereszközök és backend szolgáltatások fejlesztése
• ▹PyTorch: LLM-inferencia motor fejlesztés, integráció és éles bevezetésre való felkészítés
• ▹Felhő és automatizálás: AWS/GCP tapasztalat, felhős telepítési minták
• ▹Kubernetes: infrastruktúra üzemeltetése skálán, konténerekkel
• ▹GPU és hálózat: CUDA runtime, NCCL, InfiniBand, GPU-tudatos bin-packing és ütemezés heterogén flottákon

Előny

• ▹CUDA/Triton kernel-fejlesztés, Nsight Systems/Compute profilozás
• ▹Rendszerteljesítmény-orientált nyelvek: Rust, C++
• ▹Adat és megfigyelhetőség: Kafka/PubSub, Redis, gRPC/Protobuf, Prometheus/Grafana, OpenTelemetry
• ▹Infrastruktúra-automatizálás: Terraform/Ansible, infrastructure-as-code, reprodukálható környezetek
• ▹Nyílt forráskódú hozzájárulás kiszolgáló-, inferencia- vagy RL-infrastruktúra projektekhez

Soft skillek

Amit kínálunk

• ▹150-300 ezer dollár fizetés jelentős részvényjuttatással
• ▹Rugalmas munkavégzés (távoli vagy San Francisco-i iroda)
• ▹Teljes vízum-szponzoráció és költözési támogatás
• ▹Szakmai fejlődési keret
• ▹Rendszeres csapat off-site-ok és konferenciarészvétel

A munkáltatóról

A Prime Intellect a nyílt szuperintelligencia-stacket építi: azt az infrastruktúrát teszi elérhetővé minden ambiciózus AI-csapat számára, amit a frontier AI-laborok belsőleg használnak. A Lab platform egyesíti a számítási kapacitást, a környezeteket, a kiértékeléseket, a biztonságos sandboxokat, a nagy teljesítményű tréninget és az üzembe helyezést egyetlen full-stack rendszerben. A céget vezető befektetők - köztük a Founders Fund, a Radical Ventures és az NVIDIA - támogatják.