Adatmérnök

Stack

Feladatok

• ▹Batch és real-time adatcsővezetékek tervezése, építése és karbantartása
• ▹Adatinfrastruktúra karbantartása és optimalizálása a pontos ETL-folyamatokhoz
• ▹ETL-folyamatok fejlesztése adatok kinyerésére és átalakítására
• ▹Adatmunkafolyamatok automatizálása (adatbetöltés, aggregálás, ETL)
• ▹Nyers adatok előkészítése adattárházakban technikai és nem technikai stakeholderek számára
• ▹Együttműködés adattudósokkal és üzleti vezetőkkel gépi tanulási modellek bevezetésében
• ▹Adattermékek építése, karbantartása és üzembe helyezése felhőplatformokon (AWS, Azure, GCP)
• ▹Adatpontosság, integritás, adatvédelmi és compliance biztosítása
• ▹Adatrendszerek teljesítményének monitorozása és optimalizálása

Elvárások

• ▹3+ év SQL-tapasztalat relációs adatbázisokkal és adatbázistervezéssel
• ▹Tapasztalat felhő alapú adattárházakkal (Databricks, Apache Spark)
• ▹Tapasztalat adatbetöltő eszközökkel (Fivetran, Stitch, Matillion)
• ▹Felhő alapú megoldások ismerete (AWS, Azure, GCP)
• ▹Gépi tanulási modellek fejlesztése és production bevezetése
• ▹Erős jártasság objektum-orientált nyelvekben: Python, Java, C++, Scala
• ▹Erős jártasság scriptnyelvekben, például Bash
• ▹Erős jártasság adatcsővezeték-eszközökben (pl. Airflow)
• ▹Erős projektmenedzsment és szervezőkészség

Előny

• ▹NoSQL adatbázisok ismerete (CrateDB, Redis, Cassandra, MongoDB, Neo4j)
• ▹Tapasztalat nagy adathalmazokkal és elosztott számítással (Hive/Hadoop/Spark/Presto/MapReduce)

Soft skillek