Állás · Senior

Senior adatmérnök

Data Engineer • Senior • Remote • Teljes munkaidő • Lengyelország Lengyelország

A Sigma Software senior adatmérnököt keres, aki nagy léptékű adatinfrastruktúrát épít egy valós idejű AdTech platformhoz, streaming és batch csővezetékekkel.

Feladatok

  • ▹Diagnosztikai SQL-lekérdezések írása és validálása nagy méretű éles adathalmazokon
  • ▹Beviteli csővezetékek építése és karbantartása bid-, win- és impresszió-naplókhoz a BigQuerybe
  • ▹Mezők harmonizálása egymástól függetlenül tervezett adathalmazok között, verziózott mező-leképezésekkel
  • ▹Időpont-pontos feature-táblák és aggregációs csővezetékek fejlesztése
  • ▹Konverziós és címkézési csővezetékek tervezése és karbantartása, késleltetett címkék kezelésével
  • ▹Az adatkiszolgáló írási út, sématartalmak, publikálási folyamatok és frissességi SLA-k gazdai felelőssége
  • ▹Kísérletezési infrastruktúra építése: forgalommegosztás és riportáló csővezetékek
  • ▹Nagy volumenű historikus visszatöltések és biztonságos újrafeldolgozás végzése leképezés-változtatások után
  • ▹Adatizolációs és biztonságos aggregációs kontrollok megvalósítása a hirdetői adatok védelmére
  • ▹Automatizált adatminőség-validációs keretrendszerek fejlesztése
  • ▹Szoros együttműködés ügyfél-mérnökökkel, operatív dokumentáció készítése
  • ▹Részvétel architektúra-megbeszéléseken és a platform skálázhatósági fejlesztésében

Elvárások

  • ▹5+ év tapasztalat adatmérnökként
  • ▹Legalább 2 év tapasztalat éles ML- vagy nagy léptékű analitikai csővezetékekkel
  • ▹Szakértői szintű SQL-tudás, ablakfüggvényekkel és inkrementális feldolgozási mintákkal
  • ▹Erős Python-tudás éles minőségű csővezetékek fejlesztéséhez
  • ▹Gyakorlati tapasztalat Sparkkal vagy PySparkkal
  • ▹ETL/ELT csővezetékek tervezése Airflow-val, Cloud Composerrel, Dagsterrel vagy hasonló eszközökkel
  • ▹Tapasztalat nagy léptékű felhő-adattárházakkal, lehetőleg BigQueryvel
  • ▹Erős adatmodellezési ismeretek és időpont-pontosság megértése
  • ▹Tapasztalat eseményvezérelt vagy clickstream adathalmazokkal, nagyon nagy léptékben
  • ▹Üzletkritikus éles csővezetékek támogatásában szerzett tapasztalat
  • ▹Felső-középfokú angol nyelvtudás vagy magasabb

Előny

  • ▹GCP-szolgáltatások ismerete (Dataflow, Pub/Sub, GCS, Beam)
  • ▹Streaming vagy near-real-time beviteli rendszerek építése
  • ▹Feature store-ok, train/serve skew és label leakage megelőzésének ismerete
  • ▹Tapasztalat AdTech vagy aukció-alapú környezetben
  • ▹Késleltetett vagy hiányos címkék kezelése ML-rendszerekben
  • ▹dbt vagy hasonló transzformációs keretrendszerek ismerete
  • ▹Ügyfél-tulajdonú infrastruktúrába történő megoldásszállítás tapasztalata
  • ▹GDPR/CCPA adatvédelmi mérnöki gyakorlatok ismerete
  • ▹Kísérletezési infrastruktúra és statisztikai validáció tapasztalata
  • ▹Hibrid felhő/on-prem Linux környezetben szerzett tapasztalat
  • ▹Terraform és Kubernetes tapasztalat
  • ▹Adattárház-költség és teljesítmény optimalizálási tapasztalat

Soft skillek

Erős elemző- és problémamegoldó képességFelelősségvállaló szemléletÖnálló munkavégzés ügyfélközpontú környezetbenErős kommunikációs és dokumentációs készségEgyüttműködő és proaktív hozzáállás

A munkáltatóról

A Sigma Software csapata nagy léptékű adatinfrastruktúrát épít egy valós idejű AdTech platformhoz, amely naponta több száz millió aukciós kérést dolgoz fel.

Nyelvtudás: Angol: felső-középfok vagy magasabb

Hasonló állások