Állás · Senior

Spark adatmérnök

Data Engineer • Senior • Remote • Teljes munkaidő • Spanyolország Spanyolország

Az SDG Group Data Technologies csapatához keresnek Spark adatmérnököt, aki nagy adatmennyiségek feldolgozására tervez és fejleszt end-to-end megoldásokat felhős környezetekben.

Feladatok

  • ▹End-to-end megoldások tervezése és fejlesztése nagy adatmennyiségek feldolgozására, az üzleti problémától a skálázható ETL/ELT pipeline-okig
  • ▹Munka olyan technológiákkal, mint az Apache Spark, Python, Scala, Apache Beam, valamint orchesztráció Airflow-val vagy Databricks Workflows-szal
  • ▹Adatok feldolgozása és tárolása Parquet, Delta Lake és Apache Iceberg formátumokban, felhős környezetben (AWS, Azure, GCP)
  • ▹Fejlett architektúrák (Data Lakehouse, Data Mesh, adattárházak) meghatározása az adatok kezelésének és kiaknázásának javítására
  • ▹Együttműködés multidiszciplináris csapatokkal és érdekeltekkel, komplex igények hatékony technikai megoldássá alakítása
  • ▹Új technológiák (Databricks, Delta Live Tables, dbt Cloud, Apache Iceberg, Snowflake) feltárása és értékelése
  • ▹Adatminőség és megfigyelhetőség fejlesztése DataOps, Data Quality és CI/CD alkalmazásával

Elvárások

  • ▹Informatika, távközlés, matematika, fizika vagy hasonló területen szerzett végzettség
  • ▹Legalább 6 év Big Data tapasztalat elosztott feldolgozással és ETL/ELT pipeline-okkal komplex környezetekben, Python vagy Scala nyelven, Apache Spark keretrendszerrel, Airflow, Databricks vagy Snowflake platformokon
  • ▹Adatarchitektúrák (Data Lakehouse, felhő) és formátumok/tárolás (Parquet, Delta Lake, Iceberg, Hudi) ismerete
  • ▹Jó gyakorlatok és kódkezelés: Git, CI/CD, DataOps, pipeline-monitorozás, adatminőség-ellenőrzés és adatverziózás
  • ▹Innovációs szemlélet, nyitottság új technológiák kipróbálására
  • ▹Kommunikációképes angol nyelvtudás nemzetközi csapatokkal való együttműködéshez

Előny

  • ▹Valós idejű streaming projektekben szerzett tapasztalat (Kafka, Kinesis, Flink, Spark Structured Streaming)
  • ▹Fejlett orchesztrációs, adat-DevOps, governance, minőségi és biztonsági ismeretek, Data Mesh és elosztott architektúrák tapasztalata
  • ▹Tapasztalat ML pipeline-okban és Big Data-ba integrált MLOps-ban

Soft skillek

Innovációs, kísérletező szemléletEgyüttműködés multidiszciplináris, nemzetközi csapatokban

A munkáltatóról

Az SDG Group globális vezető a Big Data, Business Intelligence, Analytics és Mesterséges Intelligencia terén; 1994 óta segíti digitális átalakulásban az IBEX-35 fél tucat vállalatát és nemzetközi cégeket, stratégiai partnerségben a Microsofttal, a Google-lal és az AWS-szel.

Nyelvtudás: Angol: kommunikációképes (nemzetközi csapatokhoz)
Végzettség: Informatika, távközlés, matematika, fizika vagy hasonló területen szerzett felsőfokú végzettség

Hasonló állások