Kutatási Crawling Mérnök

Stack

Feladatok

• ▹Nagy léptékű webcrawlerek építése és karbantartása különböző domainek között
• ▹Nagy áteresztőképességű, hibatűrő rendszerek tervezése adatgyűjtéshez (napi milliós-milliárdos URL-szám)
• ▹Bot-elleni védelmek, rate limitek és dinamikus/JS-alapú oldalak kezelése
• ▹Pipeline-ok fejlesztése tisztításhoz, deduplikációhoz, szűréshez és normalizáláshoz
• ▹Datasetek építése és karbantartása kutatáshoz és modelltanításhoz
• ▹Crawl-teljesítmény, lefedettség és adatminőség monitorozása, gyors iteráció
• ▹Együttműködés kutatócsapatokkal az adatgyűjtés és a modellezési igények összehangolásáért
• ▹Infrastruktúra optimalizálása költség, latencia és megbízhatóság szempontjából

Elvárások

• ▹Erős programozási tapasztalat az alábbiak közül egyben vagy többen: Go, Rust, Python, Java, C++
• ▹Tapasztalat webcrawlerek vagy nagy léptékű adatpipeline-ok építésében
• ▹Szilárd HTTP, hálózati és böngésző-viselkedési ismeretek
• ▹Jártasság elosztott rendszerekben és párhuzamos feldolgozásban
• ▹Tapasztalat nagy méretű adathalmazokkal (TB-PB skála preferált)
• ▹Képesség instabil vagy ellenséges környezetek hibakeresésére

Előny

• ▹Tapasztalat NLP pipeline-okkal vagy dataset-kurátorsággal ML célra
• ▹Jártasság LLM előtanító adatokban vagy retrieval rendszerekben
• ▹Tapasztalat headless böngészőkkel (pl. Chrome DevTools Protocol, Playwright, Puppeteer)
• ▹Proxy-rendszerek, IP-rotáció és nagy léptékű kérés-orkesztráció ismerete
• ▹Háttér adatminőség-értékelésben vagy benchmarkingban
• ▹Tapasztalat felhő- vagy bare-metal infrastruktúrán futó workload-okkal

Soft skillek

Amit kínálunk

• ▹Versenyképes fizetés tapasztalat és skálázási képesség alapján
• ▹Teljesen távoli munkavégzés

A munkáltatóról

A Wynd Labs olyan infrastruktúrát épít, amely nagy mennyiségű webes adatot szolgáltat a legfejlettebb AI-modelleket tanító vállalatoknak. A csapat üzemelteti a Grass sávszélesség-megosztó hálózatot, amely egy elosztott crawlert tesz lehetővé, és pipeline-okat épít videók, átiratok és hangfájlok feldolgozásához, dataset-ek létrehozásához a vezető AI-laboratóriumok számára. Teljesen távoli munkavégzésű csapat.