Senior Databricks Adatmérnök

Stack

Feladatok

• ▹Komplex, skálázható Lakehouse megoldások tervezése és fejlesztése a Databricks platformon (Azure, AWS vagy GCP)
• ▹Moduláris adatpipeline-ok építése és optimalizálása Delta Lake segítségével
• ▹Adatkormányzás és biztonságos adathozzáférés megvalósítása Databricks Unity Catalog használatával
• ▹Tiszta, hatékony SQL és Python kód írása Databricks Notebookokban és IDE-kben
• ▹Automatizálási scriptek fejlesztése Databricks CLI és REST API-k segítségével
• ▹CI/CD pipeline-ok kialakítása és karbantartása (pl. GitHub Actions, GitLab CI/CD) Declarative Automation Bundles felhasználásával
• ▹Adatpipeline folyamatok automatizálása Databricks Workflows vagy Spark Declarative Pipelines segítségével
• ▹Integráció felhőalapú tárolási és biztonsági szolgáltatásokkal (AWS S3/IAM, Azure ADLS/Entra ID, Google Cloud Storage/IAM)
• ▹Adatmodellezési és adattárházi megoldások tervezése Databricks SQL Warehouses segítségével
• ▹Szállítások technikai vezetése, projekttervezés, becslés, tesztelés, üzleti érintettekkel való egyeztetés
• ▹Átfogó technikai dokumentáció készítése

Elvárások

• ▹Magas szintű SQL és Python programozási ismeretek

A munkáltatóról

A Hiflylabs egy budapesti székhelyű cég, 250+ munkatárssal, amely Business Intelligence és alkalmazásfejlesztési megoldásokat szállít pénzügyi, telekommunikációs és energetikai ügyfeleknek.