Senior Data Engineer

Stack

Feladatok

• ▹Skálázható adatplatformok és pipeline-ok tervezése és megvalósítása felhőkörnyezetekben (Azure/Fabric, AWS, GCP, Databricks, Snowflake)
• ▹Megbízható batch, streaming és közel valós idejű pipeline-ok fejlesztése (Spark, Delta Lake)
• ▹Beviteli, transzformációs és tisztítási munkafolyamatok építése strukturált és strukturálatlan adatokhoz
• ▹Modern adatarchitektúrák megvalósítása, beleértve a lakehouse-mintát és a medallion-rétegezést (bronze, silver, gold)
• ▹Magas minőségű adathalmazok szállítása elemzésekhez, gépi tanuláshoz, ok-okozati modellezéshez és optimalizálási rendszerekhez
• ▹Adat-pipeline-ok engedélyezése GenAI use case-ekhez (LLM-ek, RAG pipeline-ok, vektoralapú adatfolyamok), valamint agent-alapú architektúrákhoz
• ▹Skálázható logikai és fizikai adatmodellek tervezése elemzési és operatív használati esetekhez
• ▹Munkafolyamatok orkesztrálása (Airflow, dbt, Lakeflow)
• ▹Esemény-vezérelt és streaming architekturális minták alkalmazása
• ▹Adatirányítás, eredetnyomon-követés, minőség és hozzáférés-kezelés (RBAC/ABAC) biztosítása
• ▹Erős adat-megfigyelhetőség kialakítása: adatfrissesség, pipeline-megbízhatóság és SLA-betartás monitorozása

Elvárások

• ▹Tapasztalat felhőalapú adatplatformok tervezésében és megvalósításában (Azure/Fabric, AWS, GCP, Databricks, Snowflake)
• ▹Batch, streaming és közel valós idejű pipeline-fejlesztés (Spark, Delta Lake)
• ▹Tapasztalat lakehouse-architektúrában és medallion-rétegezésben
• ▹Munkafolyamat-orkesztrációs eszközök ismerete (Airflow, dbt, Lakeflow)
• ▹Adatirányítási, eredetnyomon-követési, minőségi és hozzáférés-kezelési (RBAC/ABAC) ismeretek
• ▹Tapasztalat AI/GenAI adat-pipeline-ok (LLM-ek, RAG, vektoralapú adatfolyamok) kiszolgálásában

Soft skillek

A munkáltatóról

A Valtech a „the experience innovation company”, a világ legismertebb márkáinak megbízható partnere. Növekedési lehetőségeket, értékvezérelt kultúrát és nemzetközi karrierlehetőségeket kínál.