Senior Adatmérnök (Databricks migráció)

Stack

Feladatok

• ▹Részvétel a nagyszabású elemzési platform BigQueryről Databricksre történő migrációjában
• ▹Skálázható Lakehouse architektúrák tervezése és megvalósítása Databricks és Delta Lake használatával
• ▹Meglévő ETL/ELT munkafolyamatok elemzése és migrációs stratégiák meghatározása
• ▹Nagy mennyiségű retail és elemzési adatot feldolgozó adatcsővezetékek fejlesztése és optimalizálása
• ▹Inkrementális feldolgozási stratégiák és skálázható transzformációs keretrendszerek megvalósítása
• ▹Spark-alapú (PySpark) adatfeldolgozó megoldások építése és karbantartása
• ▹Medallion architektúra rétegek (Bronze, Silver, Gold) tervezése és karbantartása
• ▹Adatkormányzási és biztonsági legjobb gyakorlatok megvalósítása Unity Catalog használatával
• ▹Együttműködés a Data Science, Analytics, Product és Customer Engineering csapatokkal
• ▹Részvétel architektúra-megbeszéléseken és technikai megoldástervezésben
• ▹Újrafelhasználható platformkomponensek és mérnöki sztenderdek fejlesztése
• ▹Kódellenőrzés és hozzájárulás a platform megbízhatóságához
• ▹Komplex SQL és Spark munkaterhelések hibaelhárítása és optimalizálása
• ▹Éles telepítések és platform-modernizáció támogatása

Elvárások

• ▹5+ év szakmai tapasztalat adatmérnökként
• ▹Erős Python-programozási és haladó SQL-ismeret
• ▹Hands-on kereskedelmi tapasztalat Databricksszel
• ▹Erős Apache Spark, elsősorban PySpark ismeret
• ▹Tapasztalat modern felhőalapú adatplatformok tervezésében és építésében
• ▹ETL/ELT csővezetékek és nagyléptékű adatfeldolgozó megoldások fejlesztésében szerzett tapasztalat
• ▹Hands-on Delta Lake tapasztalat
• ▹Tapasztalat Spark Declarative Pipelines-szal
• ▹Klaszter-monitorozási, metrika-elemzési és teljesítményoptimalizálási tapasztalat
• ▹Elosztott adatfeldolgozási architektúrák erős ismerete
• ▹Data warehousing koncepciók és dimenzionális modellezés szilárd ismerete
• ▹Airflow vagy hasonló orchestrációs eszközök ismerete
• ▹Komplex analitikus SQL munkaterhelések optimalizálásában szerzett tapasztalat
• ▹CI/CD gyakorlatok megvalósítása adatmérnöki platformokon
• ▹Erős hibaelhárítási és teljesítményoptimalizálási készségek
• ▹Nemzetközi, cross-functional csapatokban való együttműködési képesség
• ▹Felső-középfokú vagy magasabb angol nyelvtudás

Előny

• ▹GCP felhőszolgáltatásokkal szerzett tapasztalat
• ▹AWS vagy Azure felhőplatform tapasztalat
• ▹Retail elemzési vagy árazásoptimalizálási területen szerzett tapasztalat
• ▹Gépi tanulási vagy AI-alapú adatmunkaterhelések támogatásában szerzett tapasztalat
• ▹Platform-modernizációs és felhőmigrációs kezdeményezésekben szerzett tapasztalat

Soft skillek

A munkáltatóról

A Sigma Software Data Engineering Center of Excellence csapata egy vállalati méretű retail elemzési ökoszisztéma modernizációját végzi, nemzetközi csapatokkal együttműködve.