Software Engineer – Baseten Inference Stack (BIS)

Stack

Feladatok

• ▹Infrastruktúra és orkesztrációs rendszerek fejlesztése nagyléptékű, elosztott LLM-inferencia telepítéséhez és kezeléséhez
• ▹Munka a teljes stack-en, az ügyfélnek szánt funkcióktól az alacsony szintű infrastruktúra-komponensekig
• ▹Platformképességek építése routing, autoscaling, ütemezés, megfigyelhetőség és runtime-kezelés terén
• ▹Az inferencia-stack megbízhatóságának, skálázhatóságának és használhatóságának javítása
• ▹Szoros együttműködés a Model Performance mérnökökkel, hogy az új inferencia-optimalizációk széles körben elérhetők és könnyen konfigurálhatók legyenek
• ▹Legjobb gyakorlatok kialakítása tesztelés, release-automatizálás, benchmarking és üzemeltetési kiválóság terén
• ▹Komplex éles rendszerek hibakeresése Kubernetesen, elosztott runtime-okon, hálózaton és GPU-workloadokon át
• ▹Átgondolt mérnöki kompromisszumok meghozatala teljesítmény, megbízhatóság, üzemeltetési egyszerűség és fejlesztői élmény között
• ▹Projektek végponttól végpontig tartó felelős vezetése: architektúrától és implementációtól a telepítésen és monitorozáson át az iterációig

Elvárások

• ▹Számítástechnikai, mérnöki vagy kapcsolódó szakos BSc, MSc vagy PhD diploma
• ▹Erős háttér elosztott rendszerekben, backend infrastruktúrában vagy platform engineeringben
• ▹Tapasztalat éles rendszerek építésében és üzemeltetésében, ahol a megbízhatóság, a késleltetés és a skálázhatóság elsődleges szempont
• ▹Erős érzék a fejlesztői élményhez — nemcsak az számít, hogyan működik a rendszer, hanem az is, hogyan használják
• ▹Motiváció és nyitottság új nyelvek, keretrendszerek és rendszerek megtanulására
• ▹Képesség komplex rendszerek hibakeresésére a stack több rétegén át
• ▹Valódi érdeklődés az inferencia-engineering iránt, tanulási hajlandósággal akkor is, ha nincs korábbi gyakorlati tapasztalat
• ▹Kiváló kommunikációs és együttműködési készségek

Előny

• ▹Tapasztalat Kubernetesszel, beleértve olyan koncepciókat mint az operátorok és egyedi erőforrások (custom resources)
• ▹Korábbi munka Dynamóval, vLLM-mel, SGLanggal, TensorRT-LLM-mel vagy hasonló inferencia keretrendszerekkel
• ▹Tapasztalat elosztott ütemezéssel, autoscalinggal vagy szolgáltatás-orkesztrációval
• ▹Tapasztalat GPU-workloadok éles üzemeltetésével
• ▹Jártasság megfigyelhetőségi eszközökben, CI/CD rendszerekben vagy release-automatizálásban
• ▹Tapasztalat nyílt forráskódú infrastruktúrához vagy ML-rendszerekhez való hozzájárulásban

Soft skillek

Amit kínálunk

• ▹Versenyképes juttatási csomag, valódi részvényopcióval
• ▹Teljes körű (100%-os) orvosi, fogászati és látásbiztosítás a munkavállalónak és eltartottjainak
• ▹Rugalmas fizetett szabadság, beleértve a cégszintű téli szünetet (karácsony és újév között zárva az irodák)
• ▹Fizetett szülési/apai szabadság
• ▹Termékenységi és családalapítási támogatás a Carroton keresztül
• ▹Vállalat által támogatott 401(k) nyugdíj-megtakarítás
• ▹Betekintés számos ML-startup működésébe, egyedülálló tanulási és kapcsolatépítési lehetőségekkel

A munkáltatóról

A Baseten a világ legdinamikusabb AI-vállalatai — köztük a Cursor, a Notion, az OpenEvidence, az Abridge, a Clay, a Gamma és a Writer — számára üzemeltet üzletkritikus inferencia-infrastruktúrát. Az alkalmazott AI-kutatás, a rugalmas infrastruktúra és a zökkenőmentes fejlesztői eszközök ötvözésével segíti az AI élvonalában dolgozó cégeket abban, hogy a legmodernebb modelleket éles környezetbe vigyék. A cég gyorsan növekszik, és nemrég zárt le egy 1,5 milliárd dolláros Series F kört az Altimeter Capital, a Conviction Partners és a Spark Capital vezetésével.