Adatmérnök

Stack

Feladatok

• ▹Az MS SQL Server adattárház és az SSIS-folyamatok és -jobok napi szintű megvalósítása, karbantartása és támogatása
• ▹Skálázható adatfeldolgozó pipeline-ok tervezése és fejlesztése SQL, Python és Apache Spark / PySpark segítségével
• ▹Nyers adatok kezelése és az adatplatformba történő integráció módszereinek kialakítása
• ▹CI/CD pipeline-ok fejlesztése adatmérnöki megoldásokhoz
• ▹Infrastructure as Code megoldások létrehozása és karbantartása
• ▹Az adatplatform integrálása más rendszerekkel és alkalmazásokkal
• ▹Részvétel architektúrai döntéshozatalban és mérnöki sztenderdek meghatározásában
• ▹Code review-k végzése, megoldások dokumentálása, tudásmegosztás a csapattal

Elvárások

• ▹Legalább 3 év tapasztalat adatmérnökként vagy hasonló szoftverfejlesztői szerepkörben
• ▹Legalább 1 év tapasztalat MS SQL Server, SSIS és SQL Server Agent technológiákkal, új funkciók bevezetésével együtt
• ▹Meglévő legacy kód elemzése és modernebb technológiára történő átültetése
• ▹Nyitottság a Databricks-alapú projektbe való bekapcsolódásra
• ▹Python-jártasság, tiszta, tesztelhető produkciós kód írásának képessége
• ▹Gyakorlati tapasztalat az Apache Sparkkal
• ▹Haladó SQL-ismeretek (lekérdezés-optimalizálás nagy adathalmazokon)
• ▹Adattárház-tervezési alapelvek és adatmodellezés erős ismerete
• ▹Gyakorlati ETL/ELT-folyamatismeret
• ▹Adatminőség, monitorozás és pipeline-megbízhatóság ismerete
• ▹Relációs adatbázisokkal szerzett tapasztalat, beleértve az adatmodellezést és az optimalizálást
• ▹REST és gRPC szabványok ismerete rendszerintegrációhoz
• ▹Tapasztalat workflow-orkesztrációs eszközökkel (pl. Airflow, Dagster vagy hasonló)
• ▹CI/CD pipeline építési és karbantartási elvek ismerete
• ▹Erős analitikus problémamegoldó készség és precizitás
• ▹Hatékony kommunikációs készség és csapatmunka
• ▹Nyitottság új technológiák és módszertanok megismerésére

Előny

• ▹Tapasztalat dbt-vel
• ▹Tapasztalat Kafkával, Pub/Sub-bal vagy más eseménystreamelő rendszerekkel
• ▹Közel valós idejű / valós idejű pipeline-ok építésében szerzett tapasztalat
• ▹Tapasztalat Infrastructure-as-Code eszközökkel
• ▹CDC (Change Data Capture) és tranzakciós rendszerekből történő adatintegráció ismerete
• ▹Tapasztalat Databricks-szel vagy más lakehouse-platformokkal

Soft skillek

A munkáltatóról

Az XTB globális pénzügyi vállalat, amely pénzügyi instrumentumok online kereskedésére specializálódott. Lengyelország legnagyobb fintech cége és Közép- és Kelet-Európa vezető szereplője, tevékenysége több országra kiterjed, Ázsiától Dél-Amerikáig. Az XTB tanúsított Great Place to Work vállalat.