Senior adatmérnök – AWS data lake és pipeline-architektúra

Stack

Feladatok

• ▹Nagy teljesítményű, skálázható és optimalizált adatmegoldások architektúrájának tervezése és megvalósítása
• ▹Adatmodellek létrehozása a semmiből, erős SQL-alapokkal
• ▹Alkalmazáson belüli SQL-utasítások írása és optimalizálása
• ▹Az adatbázisok teljesítményének, biztonságának és elérhetőségének biztosítása
• ▹Dokumentáció és technikai specifikációk készítése
• ▹Adatbázis-műveletek (frissítés, mentés, helyreállítás, migráció) kezelése
• ▹Szerver-erőforrás-használat profilozása és a konfigurációk optimalizálása
• ▹Adatpipeline-ok és alkalmazások tervezése, építése és telepítésük automatizálása
• ▹Adatok integrálása helyi adatbázisokból és külső forrásokból REST API-kkal és adatgyűjtő eszközökkel
• ▹Együttműködés üzleti egységekkel és data science csapatokkal az adatelérésről, transzformációról, feldolgozásról és riportolásról
• ▹A data lake ökoszisztéma támogatása (megvalósítás, technikai problémák, oktatás)
• ▹AWS-erőforrások, köztük EMR és ECS klaszterek kezelése
• ▹Új felhőtechnológiák értékelése és népszerűsítése a képességek javítása és a működési költségek csökkentése érdekében
• ▹Automatizálás Terraformmal és CI/CD eszközökkel (pl. Jenkins)
• ▹Adatkezelési szabályok, hozzáférés-szabályozás és biztonsági kockázatcsökkentés bevezetése

Elvárások

• ▹7–9 év tapasztalat felhőalapú adatmodellek, ETL-pipeline-ok és infrastruktúra tervezésében és fejlesztésében
• ▹Strukturált és strukturálatlan adatok kezelése
• ▹Erős SQL-tudás népszerű adatbázisokon, nagy és összetett SQL-utasítások optimalizálása
• ▹Relációs adatbázisok bevált gyakorlatainak ismerete
• ▹Adatbázis-motorok konfigurálása és klaszterek összehangolása
• ▹Erőforrásigény tervezése magas szintű specifikációból
• ▹Gyakori adatbázis-hibák elhárítása
• ▹Spark, Glue, EMR, valamint Apache Kafka vagy AWS Kinesis tapasztalat
• ▹Git vagy Subversion verziókezelés
• ▹Automatizált build rendszerek és CI/CD munkafolyamatok használata
• ▹Programozás Java, Python és Scala nyelven
• ▹Adatszerkezetek és algoritmusok ismerete
• ▹Relációs, NoSQL, gráf-, dokumentum-, kulcs-érték és idősoros adatbázisok ismerete
• ▹Skálázható adatmodell-tervezés és -kezelés
• ▹ML-modellek üzembe helyezésének ismerete
• ▹AWS felhőplatform ismerete
• ▹TDD és BDD ismerete
• ▹Erős érdeklődés a szoftverfejlesztési készségek, keretrendszerek és technológiák fejlesztése iránt

Soft skillek