Web scraping mérnök

Stack

Feladatok

• ▹Triázs-sor karbantartása és monitorozása, sérült scraperek és adatminőségi riasztások megoldása
• ▹Új web scraping scriptek építése és üzembe helyezése adatkinyerést igénylő weboldalakhoz
• ▹A kinyert adatok pontosságának ellenőrzése, eltérések kivizsgálása
• ▹Dashboardok készítése a kinyert adatok valós idejű megjelenítéséhez és monitorozásához
• ▹Együttműködés AI ügynökökkel a képességbeli hiányosságok pótlására, hibák javítására, meglévő scriptek fejlesztésére

Elvárások

• ▹1+ év gyakorlati, professzionális tapasztalat web scraping megoldások építésében vagy karbantartásában
• ▹Jártasság TypeScriptben és Node.js-ben
• ▹Jártasság SQL-ben adatlekérdezéshez és -validáláshoz
• ▹Tapasztalat Puppeteer vagy hasonló böngésző-automatizálási könyvtárakkal
• ▹Tapasztalat sérült scraping scriptek éles környezetben történő hibakeresésében és javításában
• ▹Ismeretség üzenetsorokkal (pl. RabbitMQ) és aszinkron feladatfeldolgozó rendszerekkel
• ▹Tapasztalat Redis-szel vagy hasonló memóriabeli gyorsítótár-rendszerekkel
• ▹Tapasztalat Google Cloud Platformmal vagy azzal egyenértékű felhőinfrastruktúrával
• ▹Komfort bash scriptelésben, gitben és gRPC-ben
• ▹Erős aszinkron kommunikációs készség, proaktív blokkoló-jelzés, komfort a kétértelműséggel gyors tempójú környezetben
• ▹Napi 8+ óra elérhetőség, amerikai üzleti órákkal átfedésben

Előny

• ▹Tapasztalat BigQueryvel vagy hasonló adattárházazási megoldással
• ▹Tapasztalat dashboardok vagy adatvizualizációs eszközök építésében

Soft skillek

Amit kínálunk

• ▹Teljesen távoli munkavégzés, bármely időzónából (amerikai üzleti órákkal átfedéssel)

A munkáltatóról

A Clera egy gyorsan mozgó AI startup, ahol a szerepkör egy Forward Deployed Engineernek jelent, beágyazott csapattagként.