Szoftvermérnök — GPU-hálózatok és elosztott rendszerek

Stack

Feladatok

• ▹RDMA/RoCE/InfiniBand képességek integrálása közvetlenül az inferencia-stackbe, a TCP/IP-n túllépve
• ▹Elosztott inferencia optimalizálása: disaggregated KV cache offload és WideEP hangolása NVLink és InfiniBand kommunikációval MoE-modellekhez
• ▹Serverless szintű indítási sebesség biztosítása LLM-ekhez: checkpointing és tárolási mechanizmusok, 10 másodperc alatti indítás billió paraméteres modellekhez
• ▹Hardver mély elemzése: hálózati teljesítmény karakterizálása és validálása élvonalbeli klasztereken (H100/H200, B200/B300, GB200/300 NVL72)
• ▹Megfigyelhetőségi eszközök tervezése csomagáramlás, torlódás és tényleges sávszélesség vizualizálásához a GPU-interconnecteken
• ▹Kernel-optimalizálás kommunikációs könyvtárakkal (NCCL, NVSHMEM), egyedi kommunikációs kernelek írása

Elvárások

• ▹Mély tapasztalat nagy teljesítményű hálózati protokollokban (InfiniBand, RoCE v2), az adatmozgás fizikájának megértése
• ▹Jártasság C++ vagy Python nyelven, a magas szintű logika és a hardver közötti híd megteremtésének képessége
• ▹Mély memóriahierarchia-ismeret modern NVIDIA architektúrákban (H100/Blackwell)
• ▹Mélyreható érdeklődés: nem riad vissza a TensorRT-LLM forráskódjának böngészésétől, egyedi C++/Python bindingek írásától, NVLink topológiai hibák debuggolásától
• ▹Tudás arról, mikor érdemes kész megoldást használni, és mikor kell egyedit építeni

Előny

• ▹Mély ismeretek az NCCL-ről, NVSHMEM-ről és UCX-ről
• ▹Tapasztalat GPUDirect Storage-dzsel (GDS) vagy nagy teljesítményű fájlrendszerekkel, mint a Weka vagy 3FS
• ▹TensorRT-LLM, vLLM vagy SGLang ismerete
• ▹Tapasztalat alacsony szintű benchmarkok futtatásában új hardver-klaszterek 'kvalifikálásához'

Soft skillek

Amit kínálunk

• ▹Versenyképes kompenzáció, jelentős részvényopcióval
• ▹Teljes körű orvosi, fogászati és látás-biztosítási fedezet a munkavállaló és családtagjai számára
• ▹Rugalmas fizetett szabadság-politika, beleértve a cégszintű téli szünetet (karácsony és újév között zárva az irodák)
• ▹Fizetett szülési/szülői szabadság
• ▹Termékenységi és családalapítási támogatás a Carroton keresztül
• ▹Cég által támogatott 401(k) nyugdíjprogram
• ▹Betekintés számos ML-startup működésébe, kiváló tanulási és networking-lehetőség

A munkáltatóról

A Baseten üzletileg kritikus inferenciaszolgáltatásokat biztosít a világ legdinamikusabb AI-cégeinek, köztük a Cursornak, a Notionnak, az OpenEvidence-nek, az Abridge-nek, a Claynek, a Gammának és a Writernek. Az alkalmazott AI-kutatás, a rugalmas infrastruktúra és a zökkenőmentes fejlesztői eszközök ötvözésével segíti az AI élvonalában dolgozó vállalatokat abban, hogy éles környezetbe vigyék a legmodernebb modelleket. A cég gyorsan növekszik, és nemrég zárt le egy 1,5 milliárd dolláros Series F kört az Altimeter Capital, a Conviction Partners és a Spark Capital vezetésével.