Senior adatmérnök – Databricks

Stack

Feladatok

• ▹A vállalati adatplatform Databricks éles támogatása: monitorozás, riasztás és incidenskezelés az összes éles adatfolyamon
• ▹Az adatpipeline-szállítás SLA-mutatóinak karbantartása és jelentése
• ▹Pipeline-optimalizálások azonosítása és bevezetése a Databricks számítási költségeinek csökkentésére, az átbocsátóképesség javítására és a feldolgozási idő rövidítésére, mérhető KPI-okkal követve
• ▹Régi ETL/ELT pipeline-ok migrálása Databricksre, automatizálási eszközök építése a kézi beavatkozás csökkentésére
• ▹Új ügyfelek bevezetésének támogatása: bérlői adatpipeline-ok kiépítése, validálása és megerősítése
• ▹Nagy teljesítményű Databricks pipeline-ok tervezése és építése ERP- és CRM-adatok nagy léptékű betöltésére, átalakítására és kiszolgálására Azure és AWS környezetben
• ▹A Delta Lake architektúra gondozása: sématervezés, particionálási stratégiák, adatminőség-ellenőrzés, inkrementális feldolgozási minták
• ▹Adatbiztonsági gyakorlatok érvényesítése a Databricks környezetekben: szerepkör-alapú hozzáférés-vezérlés, titokkezelés, megfelelőségi követelmények
• ▹Adatminőség-monitorozás és megfigyelhetőség a pipeline-ok állapotára és az ML-modellek bemeneteire
• ▹Többbérlős adatelkülönítési minták alkalmazása és érvényesítése
• ▹Együttműködés a vállalati architektúra csapattal az AI- és analitikai ökoszisztémába való illeszkedésért
• ▹Ügyeleti rotáció és munkaidőn kívüli incidenskezelés a globálisan elosztott működés támogatására
• ▹Műszaki dokumentáció, runbookok és architekturális döntési naplók karbantartása
• ▹CI/CD bevált gyakorlatok alkalmazása az adatpipeline-fejlesztésben: verziókezelés, automatizált tesztelés, telepítési eszközök

Elvárások

• ▹Legalább 4 év adatmérnöki tapasztalat
• ▹Legalább 2 év tapasztalat Databricksszel vagy az Apache Spark ökoszisztémával Azure-on és/vagy AWS-en
• ▹PySpark, SQL és Python ismerete, bizonyított tapasztalat éles, SLA-korlátok melletti pipeline-ok építésében és üzemeltetésében
• ▹Gyakorlati tapasztalat a Delta Lake-kel: sémaevolúció, ACID tranzakciók, optimize/vacuum életciklus, inkrementális és streaming feldolgozási minták
• ▹Gyakorlati tapasztalat a pipeline-teljesítmény hangolásában és a számítási erőforrások optimalizálásában éles Databricks környezetben
• ▹Megbízható PostgreSQL-ismeret: lekérdezés-optimalizálás, sématervezés, használata forrásként vagy célként éles pipeline-okban
• ▹Tapasztalat régi ETL-eszközök (SSIS, Informatica, egyedi Python/SQL pipeline-ok vagy hasonlók) éles támogatásában
• ▹Tapasztalat nagy léptékű többbérlős architektúrák támogatásában, a bérlői elkülönítésre, a bérlőnkénti teljesítményre és az adatvédelemre összpontosítva
• ▹Bizonyított képesség az adattudományi, termék- és infrastruktúra-csapatokkal való együttműködésre, teljes körű szállítási felelősséggel
• ▹Az adatkezelési, biztonsági és megfelelőségi alapelvek erős ismerete

Előny

• ▹Tapasztalat Databricks workspace-ek üzemeltetésében Azure-on és AWS-en, beleértve a költségkezelést, a fürtkezelést és a felhők közötti adathozzáférést
• ▹Databricks-terhelések optimalizálása Serverless környezetben
• ▹Microsoft SQL Server ismerete adatmérnöki vagy ETL környezetben
• ▹Ismeret az ML feature engineeringről és feature store-okról (Databricks Feature Store, Feast vagy hasonló)
• ▹Tapasztalat ügyfélbevezetés-automatizálással vagy IaC mintákkal a bérlői adatpipeline-ok nagy léptékű kiépítéséhez
• ▹Databricks Certified Data Engineer Associate vagy Professional tanúsítvány

Soft skillek

A munkáltatóról

Az Intetics nemzetközi technológiai cég, amely egyedi szoftverfejlesztésre, AI-alapú megoldásokra, felhőtechnológiákra és digitális átalakításra specializálódott. Több mint 30 éves tapasztalattal rendelkezik.