Big Data Architect

Stack

Feladatok

• ▹Végponttól végpontig terjedő architektúrák tervezése és meghatározása nagy adatmennyiségek feldolgozásához, összehangolva a technológiai stratégiát az üzleti célokkal, és megalapozva a skálázható, nagy teljesítményű ETL/ELT pipeline-okat
• ▹A technológiai stack és az implementációs szabványok meghatározása, architektúrai döntések vezetése
• ▹Tárolási stratégiák, adatformátumok (Parquet, Delta Lake, Apache Iceberg) és hozzáférési minták kialakítása multi-felhő (AWS, Azure, GCP) környezetekben
• ▹Fejlett architektúrák (Data Lakehouse, Data Mesh, Modern Data Warehouse) tervezésének vezetése, a vállalati adatplatform ütemtervének meghatározása
• ▹Technikai vezetőként való fellépés multidiszciplináris csapatokkal és vezetői stakeholderekkel
• ▹Új technológiák (Delta Live Tables, dbt Cloud, Apache Iceberg, Snowflake) értékelése, kiválasztása és bevezetésének elősegítése
• ▹Minőségi, megfigyelhetőségi és governance keretrendszerek kialakítása DataOps, adatminőségi keretrendszerek és CI/CD révén

Elvárások

• ▹Informatikai mérnöki, távközlési, matematikai, fizikai vagy hasonló képzettség
• ▹Legalább 8 év tapasztalat elosztott feldolgozással és ETL/ELT pipeline-okkal komplex környezetekben, Python vagy Scala nyelvekkel, Apache Spark keretrendszerrel, valamint Airflow, Databricks vagy Snowflake platformokkal
• ▹Adatarchitektúrák (Data Lakehouse, felhő) és formátumok/tárolás (Parquet, Delta Lake, Iceberg, Hudi) ismerete
• ▹Jó gyakorlatok és kódkezelés: Git, CI/CD, DataOps, pipeline-monitorozás, adatminőség-ellenőrzés és adatverziózás
• ▹Angol nyelvtudás globális csapatokkal való együttműködéshez

Előny

• ▹Tapasztalat valós idejű streaming projektekben

Soft skillek

A munkáltatóról

Az SDG Group 1994 óta globális vezető a Big Data, Business Intelligence, Analytics és mesterséges intelligencia területén, az IBEX-35 vállalatainak felét és számos nemzetközi élvonalbeli céget kísért digitális transzformációjuk során, stratégiai partnerségben a Microsofttal, a Google-lal és az AWS-szel.