Azure senior adatmérnök

Stack

Feladatok

• ▹Újrafelhasználható, metaadat-vezérelt adatfolyamatok fejlesztése Databricks Lakehouse architektúrával és PySparkkal
• ▹Átfogó adatmodellek tervezése és megvalósítása
• ▹Robusztus ETL/ELT megoldások építése, például Merge műveletekkel és SCD Type 2 megvalósításokkal
• ▹Inkrementális adatbetöltések megvalósítása idempotencia-mintákkal és overlap join optimalizálással
• ▹Az adatplatform folyamatainak automatizálása és optimalizálása teljesítmény és megbízhatóság szempontjából
• ▹Integrációk építése adatforrásokkal és fogyasztókkal eseményvezérelt mintákkal
• ▹Együttműködés az infrastruktúra-csapattal a felhőerőforrások felállításában
• ▹Az adatplatform-architektúra fejlesztésének kezdeményezése és megvalósítása

Elvárások

• ▹Databricks szakértelem: Lakehouse architektúra és PySpark fejlesztés
• ▹Adatmodellezési mesterfok: fact és dimension táblák, mértékek, grain-elemzés, SCD Type 2, surrogate key-ek, későn érkező rekordok kezelése, overlap join-ok, inkrementális betöltés idempotenciával
• ▹Haladó Python és PySpark tudás ETL/ELT fejlesztéshez
• ▹Databricks optimalizálás mély ismerete: optimize, zOrder, Liquid clustering, ACID tranzakciók, teljesítményhangolás
• ▹Bizonyított tapasztalat eseményvezérelt adatmegoldások tervezésében és megvalósításában
• ▹Tapasztalat Azure-alapú adathalmazokkal és adatfolyamatokkal
• ▹Erős SQL-tudás összetett adattranszformációkhoz
• ▹Nagy és összetett adathalmazok hatékony kezelése
• ▹Tapasztalat automatizált telepítési pipeline-ok fejlesztésében (CI/CD)
• ▹Hálózati alapismeretek
• ▹Scrum és agilis fejlesztési gyakorlatok ismerete
• ▹Lengyelországi tartózkodás

Előny

• ▹A stream-feldolgozás kihívásainak és a Spark Structured Streaming ismerete
• ▹Tapasztalat Infrastructure as Code eszközökkel (Terraform, Bicep)
• ▹Tapasztalat konténerizált alkalmazásokkal (Azure Container Apps, Kubernetes)
• ▹Azure felhőnatív megoldások ismerete (Azure Data Factory, Azure Function App, Azure Container Instances)

Soft skillek

Amit kínálunk

• ▹Rugalmas foglalkoztatás és távmunka
• ▹Nemzetközi projektek vezető globális ügyfelekkel
• ▹Nemzetközi kiküldetések
• ▹Nem vállalati hangulat
• ▹Nyelvórák
• ▹Belső és külső képzések
• ▹Magánegészségügyi ellátás és biztosítás
• ▹Multisport kártya
• ▹Jóllét-kezdeményezések

A munkáltatóról

A Software Mind világszerte működő cégeknek fejleszt szoftvermegoldásokat. Az ügyfél kockázatkezelési és munkaerő-felvételi megoldásokat nyújt, több mint 33 000 ügyféllel, atlantai központtal és mintegy 5500 alkalmazottal.