Data Platform mérnök (Azure→Databricks migráció)

Stack

Feladatok

• ▹Azure Data Factory pipeline-ok átalakítása Databricks munkafolyamatokká AWS-en, újrafelhasználható sablonok építésével, nem egyenként migrálva
• ▹Databricks workspace-ek átköltöztetése AWS-re, ADLS Gen2 tárolás migrálása S3-ra
• ▹ADF Web Activity-k átírása Lambda függvényekké vagy Step Functions taskokká, az ADF-specifikus skálázás lecserélése natív Databricks mechanizmusokra
• ▹PySpark transzformációk építése és hangolása production adatmennyiségekhez
• ▹Azure Synapse Serverless lecserélése Databricks SQL Warehouse-ra
• ▹A migrált adatok egyeztetése a forrásrendszerekkel, a kész állapot részeként

Elvárások

• ▹Production tapasztalat Databricks-szel: workspace-ek, jobok és workflow-k — ez a szerep központi készsége
• ▹Erős Spark és PySpark tapasztalat valódi adatmennyiségekkel, hangolással
• ▹Production-szintű Python tudás
• ▹Tapasztalat Azure Data Factory pipeline-ok építésében vagy migrálásában, az ADF activity-modell szilárd ismerete
• ▹AWS adatszolgáltatások: S3, Glue, Athena, Lambda és Step Functions
• ▹Haladó SQL, beleértve tárolt eljárások olvasását és értelmezését
• ▹Professzionális szintű írott és beszélt angol

Előny

• ▹Delta Lake
• ▹Unity Catalog
• ▹Azure Synapse
• ▹Terraform
• ▹Airflow/MWAA
• ▹dbt
• ▹Kafka
• ▹Databricks minősítés
• ▹Adatmodellezés
• ▹Great Expectations
• ▹SAS/analitikai platform integráció
• ▹CRM adatok

Amit kínálunk

• ▹Teljes munkaidő, 100% távmunka
• ▹Jelentkezhetnek jelöltek egész Latin-Amerikából