Senior Adatmérnök (Databricks, Azure)

Stack

Feladatok

• ▹Databricks Workflow-k építése és kezelése nagyméretű adat-orchestrációhoz
• ▹PyFunc modellek fejlesztése és bevezetése, éles pipeline-okba integrálása
• ▹Titkok és konfiguráció kezelése Azure Key Vaulttal
• ▹Adatfolyamok automatizálása Azure Logic Apps segítségével
• ▹ETL/ELT pipeline-ok tervezése és optimalizálása
• ▹Adatvagyon governance Unity Catalog és Data Lakehouse minták alapján
• ▹Üzenetküldés és esemény-vezérelt folyamatok Azure Service Bus-szal
• ▹Együttműködés architektekkel, elemzőkkel és adattudósokkal
• ▹Azure DevOps használata CI/CD-hez

Elvárások

• ▹Databricks Workflows, Unity Catalog, Delta Lake tapasztalat
• ▹ETL/ELT tervezés és megvalósítás
• ▹Data Lakehouse architektúra ismerete
• ▹Erős Python tudás adatmérnöki munkához, automatizáláshoz, integrációhoz
• ▹Tapasztalat moduláris, éles minőségű kód írásában
• ▹CI/CD pipeline-ok Databrickshez és Azure-hoz
• ▹Erős SQL ismeret (lekérdezés-optimalizálás, adatmodellezés)
• ▹NoSQL adatbázis tapasztalat (pl. Cosmos DB)
• ▹Azure Key Vault, Logic Apps, Service Bus, APIM tapasztalat

Előny

• ▹Microsoft Cognitive Services tapasztalat (OCR, Layout, Form Recognizer)
• ▹Kognitív szolgáltatások integrálása adat-pipeline-okba
• ▹Esemény-vezérelt és mikroszolgáltatás architektúrák ismerete
• ▹Monitorozó eszközök tapasztalata (Datadog, Application Insights)
• ▹Agile csapatmunka, DevOps gyakorlatok

A munkáltatóról

Az Ascent, amelyet nemrég felvásárolt az Acuity Analytics, mély üzleti betekintést és iparág-vezérelt digitális transzformációt nyújt gyorsan növekvő és erősen szabályozott szervezeteknek.