Freelance senior Databricks platform mérnök

Stack

Feladatok

• ▹Lakehouse-architektúrák tervezése és megvalósítása Databricks-en (medallion minták, Delta Lake, Unity Catalog)
• ▹Batch és streaming adatpipeline-ok építése PySpark és Spark SQL segítségével, Databricks Workflows/Jobs orchestrálással
• ▹Adatmodellezés elemzési célokra (star schema BI-hoz, kurált adathalmazok data science-hez)
• ▹Adatok beolvasása API-kból, fájlokból, adatbázisokból és SaaS-forrásokból data lake-ekbe/lakehouse-okba
• ▹Tesztelhető transzformációs logika megvalósítása (adatminőség-ellenőrzés, deduplikáció, SCD, CDC, üzleti szabályok)
• ▹Adatgovernance bevált gyakorlatok alkalmazása (katalogizálás, lineage, RBAC, érzékeny adatok maszkolása)
• ▹CI/CD és telepítési pipeline-ok kialakítása (Azure DevOps/GitHub) a Databricks-elemekhez
• ▹Terraform használata az automatizált Infrastructure as Code kialakításhoz és újrafelhasználhatósághoz
• ▹Pipeline-ok és fürtök monitorozása, optimalizálása és hibaelhárítása teljesítmény, megbízhatóság és költséghatékonyság szempontjából
• ▹Közreműködés bevált gyakorlatok, kódolási szabványok és újrafelhasználható komponensek kialakításában

Elvárások

• ▹Igazolt tapasztalat Databricks-platformarchitektúrában
• ▹Unity Catalog és governance ismerete
• ▹CI/CD és DevOps Databricks-hez (Enterprise GitHub)
• ▹Terraform / Infrastructure as Code
• ▹Lakehouse-architektúra
• ▹Data Product Platform kialakításának támogatása

Előny

• ▹Tudásgráf, ontológia és ágens alapú AI ismerete komoly előnyt jelent

Amit kínálunk

• ▹Nemzetközi csoportban dolgozhat, erős belgiumi helyi szakértelemmel
• ▹Együttműködés a nemzetközi data & AI adesso közösség több funkciós csapataival
• ▹Rugalmas freelance-konstrukció a növekvő adesso Belgium közösség támogatásával

A munkáltatóról

Az adesso Belgium egy adesso csoporthoz tartozó IT start-up vállalkozás, amely több iparágban bizonyított már, és az adesso csoport belgiumi terjeszkedésének része.