Technikai munkatárs – Engineering Lead, adatbeolvasás (Data Ingestion)

Stack

Feladatok

• ▹Data ingestion mérnökökből álló csapat felépítése, mentorálása és fejlesztése
• ▹Front-line vezetés a web crawling, extrakciós/normalizáló pipeline-ok és adattavak területén
• ▹Gyakorlati, kódoló szerepvállalás a technológiai stack ismeretében, egyéni hozzájárulóként is
• ▹Napi végrehajtás menedzselése, adatgyűjtési és ingestion kampányok futtatása
• ▹Architektúrai döntések vezetése: crawler-architektúra, elosztott feldolgozás (Ray/Beam/Spark), orchestration (Airflow/Prefect), tárolási formátumok (Parquet, JSONL, WARC), deduplikáció és adathalmaz-verziózás
• ▹Együttműködés a pre-training és adatminőségi csapatokkal, hogy az ingestion döntések mérhető modellhatással járjanak
• ▹Együttműködés adatpartnerségi, digitalizációs és külső beszállítói csapatokkal új források jogi és licencelési kereteken belüli bevonásához

Elvárások

• ▹Tapasztalat adat- vagy infrastruktúra-mérnöki csapatok felépítésében, mentorálásában és fejlesztésében, technikailag gyakorlatban maradva
• ▹Mély tapasztalat web-léptékű adatgyűjtő/ingestion rendszerek építésében, valódi felelősséggel multi-TB–PB méretű éles pipeline-okért
• ▹Erős kódolási képesség és technikai hitelesség
• ▹Mély szakértelem legalább az egyik területen (web crawling & acquisition, nagy léptékű extrakciós/ingestion pipeline-ok, vagy adattavak/korpusz-tárolás), a többiben munkaszintű ismeret
• ▹Magabiztos ismeret elosztott feldolgozásban (Ray, Beam, Spark), orchestrationben (Airflow, Prefect), formátumokban (Parquet, JSONL, WARC) és object-store/data-lake architektúrákban
• ▹Ismeret arról, hogyan tanítják és értékelik az LLM-eket, és megérzés arra, mi teszi hasznossá az adatot a tanításhoz
• ▹Képesség stratégia vezetésére és végrehajtásra egyidejű adatkampányok mentén

Soft skillek

Amit kínálunk

• ▹Kiemelkedő kompenzáció fizetéssel és részvényopcióval
• ▹Részvényopciók minden munkatársnak
• ▹Teljes körű egészség-, fog-, látás- és életbiztosítás éves wellness-kerettel
• ▹Napi ebéd és vacsora az irodában
• ▹22 hét fizetett szülői szabadság minden újdonsült szülőnek, örökbefogadás és béranyaság esetén is
• ▹Korlátlan fizetett szabadság az USA-ban, 30 nap az Egyesült Királyságban
• ▹Vízumtámogatás
• ▹Rendszeres csapatépítő események, happy hourok és ünneplések

A munkáltatóról

A Reflection egy kutatólabor, amely elérhetővé és nyitottá teszi az intelligenciát mindenki számára használatra, testreszabásra és továbbfejlesztésre.