Senior adatmérnök

Stack

Feladatok

• ▹Skálázható batch és streaming adatpipeline-ok tervezése és megvalósítása Apache Spark, Kafka és Flink használatával
• ▹A Bronze/Silver/Gold medallion architektúra építése és karbantartása a lakehouse-on belül (Delta Lake / Iceberg)
• ▹Komplex SQL és PySpark transzformációk fejlesztése és optimalizálása nagy méretű adathalmazokhoz
• ▹Strukturált, félig strukturált és strukturálatlan adatforrások integrálása a lakehouse-ba
• ▹Együttműködés adatarchitektekkel a fizikai és logikai adatmodellek fejlesztésén
• ▹Adatminőségi ellenőrzések és monitorozás megvalósítása Great Expectations vagy dbt tesztek segítségével
• ▹Infrastructure-as-Code írása a pipeline-környezetekhez (Terraform, Helm)
• ▹Részvétel code review-kban, a mérnöki sztenderdek és jó gyakorlatok betartatása
• ▹Pipeline-hibák, teljesítményproblémák és adatincidensek kivizsgálása
• ▹Junior és mid-level adatmérnökök mentorálása, közreműködés a belső tudásmegosztásban

Elvárások

• ▹6+ év adatmérnöki tapasztalat, bizonyított vállalati léptékű szállítási múlttal
• ▹Kiváló szintű Python- és SQL-tudás; PySpark-tapasztalat kötelező
• ▹Gyakorlati tapasztalat Apache Sparkkal, Delta Lake-kel vagy Apache Iceberggel
• ▹Tapasztalat orkesztrációs eszközökkel: Apache Airflow, Prefect vagy Dagster
• ▹Erős ismeretek felhő alapú adatszolgáltatásokban: AWS Glue, Azure Data Factory, GCP Dataflow
• ▹Jártasság verziókezelésben (Git), CI/CD pipeline-okban és konténerizációban (Docker/Kubernetes)
• ▹Tapasztalat dbt-vel (data build tool) a transzformációs réteg kezelésében

Előny

• ▹Tapasztalat Databricksszel, Snowflake-kel vagy Apache Hudival
• ▹Streaming architektúrák és Apache Kafka ismerete
• ▹Minősítések: Databricks Certified Data Engineer, AWS Data Analytics Specialty

Soft skillek

A munkáltatóról

A Dynata elkötelezett az inkluzív, hozzáférhető munkakörnyezet mellett, ahol minden munkavállaló és ügyfél értékesnek, tiszteltnek és támogatottnak érzi magát.