
Állás
· Senior
Senior adatmérnök
Data Engineer
• Senior
• Remote
• Teljes munkaidő
•
Lengyelország
A Sigma Software senior adatmérnököt keres, aki nagy léptékű adatinfrastruktúrát épít egy valós idejű AdTech platformhoz, streaming és batch csővezetékekkel.
Feladatok
- ▹Diagnosztikai SQL-lekérdezések írása és validálása nagy méretű éles adathalmazokon
- ▹Beviteli csővezetékek építése és karbantartása bid-, win- és impresszió-naplókhoz a BigQuerybe
- ▹Mezők harmonizálása egymástól függetlenül tervezett adathalmazok között, verziózott mező-leképezésekkel
- ▹Időpont-pontos feature-táblák és aggregációs csővezetékek fejlesztése
- ▹Konverziós és címkézési csővezetékek tervezése és karbantartása, késleltetett címkék kezelésével
- ▹Az adatkiszolgáló írási út, sématartalmak, publikálási folyamatok és frissességi SLA-k gazdai felelőssége
- ▹Kísérletezési infrastruktúra építése: forgalommegosztás és riportáló csővezetékek
- ▹Nagy volumenű historikus visszatöltések és biztonságos újrafeldolgozás végzése leképezés-változtatások után
- ▹Adatizolációs és biztonságos aggregációs kontrollok megvalósítása a hirdetői adatok védelmére
- ▹Automatizált adatminőség-validációs keretrendszerek fejlesztése
- ▹Szoros együttműködés ügyfél-mérnökökkel, operatív dokumentáció készítése
- ▹Részvétel architektúra-megbeszéléseken és a platform skálázhatósági fejlesztésében
Elvárások
- ▹5+ év tapasztalat adatmérnökként
- ▹Legalább 2 év tapasztalat éles ML- vagy nagy léptékű analitikai csővezetékekkel
- ▹Szakértői szintű SQL-tudás, ablakfüggvényekkel és inkrementális feldolgozási mintákkal
- ▹Erős Python-tudás éles minőségű csővezetékek fejlesztéséhez
- ▹Gyakorlati tapasztalat Sparkkal vagy PySparkkal
- ▹ETL/ELT csővezetékek tervezése Airflow-val, Cloud Composerrel, Dagsterrel vagy hasonló eszközökkel
- ▹Tapasztalat nagy léptékű felhő-adattárházakkal, lehetőleg BigQueryvel
- ▹Erős adatmodellezési ismeretek és időpont-pontosság megértése
- ▹Tapasztalat eseményvezérelt vagy clickstream adathalmazokkal, nagyon nagy léptékben
- ▹Üzletkritikus éles csővezetékek támogatásában szerzett tapasztalat
- ▹Felső-középfokú angol nyelvtudás vagy magasabb
Előny
- ▹GCP-szolgáltatások ismerete (Dataflow, Pub/Sub, GCS, Beam)
- ▹Streaming vagy near-real-time beviteli rendszerek építése
- ▹Feature store-ok, train/serve skew és label leakage megelőzésének ismerete
- ▹Tapasztalat AdTech vagy aukció-alapú környezetben
- ▹Késleltetett vagy hiányos címkék kezelése ML-rendszerekben
- ▹dbt vagy hasonló transzformációs keretrendszerek ismerete
- ▹Ügyfél-tulajdonú infrastruktúrába történő megoldásszállítás tapasztalata
- ▹GDPR/CCPA adatvédelmi mérnöki gyakorlatok ismerete
- ▹Kísérletezési infrastruktúra és statisztikai validáció tapasztalata
- ▹Hibrid felhő/on-prem Linux környezetben szerzett tapasztalat
- ▹Terraform és Kubernetes tapasztalat
- ▹Adattárház-költség és teljesítmény optimalizálási tapasztalat
Soft skillek
Erős elemző- és problémamegoldó képességFelelősségvállaló szemléletÖnálló munkavégzés ügyfélközpontú környezetbenErős kommunikációs és dokumentációs készségEgyüttműködő és proaktív hozzáállás
A munkáltatóról
A Sigma Software csapata nagy léptékű adatinfrastruktúrát épít egy valós idejű AdTech platformhoz, amely naponta több száz millió aukciós kérést dolgoz fel.
Nyelvtudás: Angol: felső-középfok vagy magasabb
Hasonló állások

Állás
· Senior
Senior Data Platform Engineer (DevOps)
Capgemini
AI/MLAzure DevopsDatabricks
+12
💰 Bér: nincs megadva
🏢 Helyszíni
Wrocław
🗣️ EN

Állás
· Senior
Principal Data Engineer
Ledgebrook
Data ScienceDbt
+9
180 000–220 000 USD/év
bruttó
🌍 Remote
csak Lengyelország
🗣️ EN
Himalayas

Állás
· Senior
Senior Data Engineer
Madiff
Databricks
+7
💰 Bér: nincs megadva
🌍 Remote
csak Lengyelország
🗣️ EN
Himalayas

Állás
· Senior
Senior Data Engineer / Databricks Expert
Stermedia
AI/MLDatabricksDbt
+6
20 000–30 000 PLN/hó
bruttó
🌍 Remote
csak Lengyelország
🗣️ EN
Himalayas

Állás
· Senior
[VKS] Data Engineer (Mid/Senior)
Software Mind
FlinkBigqueryDbt
+7
💰 Bér: nincs megadva
🔀 Hibrid
Warsaw
🗣️ EN

Állás
· Senior
Senior Data Engineer
WP Engine
BigqueryDbt
+6
224 000–308 000 PLN/év
bruttó
🌍 Remote
csak Lengyelország
🗣️ EN
Himalayas