
Az új, többbérlős adatplatform valós idejű adatfolyamainak végpontok közötti felelőse: egységes analitikai adattárházat és feature-kiszolgáló réteget épít a valós idejű döntéshozataltól a prediktív modellezésig. Teljesen távoli munka.
Stack
Feladatok
- ▹Skálázható adatpipeline-ok tervezése, építése és karbantartása AWS Glue (PySpark) vagy hasonló orkesztrációs és transzformációs eszközökkel
- ▹A ClickHouse adattárház mérnöki kialakítása és optimalizálása, hogy az összes háttérrendszerben ezredmásodperces lekérdezési teljesítményt nyújtson
- ▹Adatszerződések bevezetése a háttérrendszerek és a platform között
- ▹Feature-kiszolgáló réteg építése, amely előre kiszámított jellemzőket ad az AI-ügynököknek milliszekundumos késleltetéssel
- ▹Integráció harmadik fél adatbázisaival, háttérrendszer API-kkal és külső rendszerekkel (CRM, affiliate- és akvizíciós platformok)
- ▹Monitorozás, riasztás és karbantartási eljárások kialakítása: pipeline-egészség ellenőrzés, frissességmonitorozás, anomáliadetektálás, adatszerződési SLA-k betartatása
- ▹A CI/CD és az infrastruktúra kódként való kezelése az adatmunkaterhelésekhez
- ▹Együttműködés adatkutatókkal, agent-mérnökökkel, BI-fejlesztőkkel és infrastruktúra-csapatokkal
Elvárások
- ▹3+ év tapasztalat éles, nagy léptékű adatpipeline-ok építésében és üzemeltetésében, streaming és batch megközelítéssel is
- ▹Apache Kafka (vagy Amazon MSK) ismerete: topictervezés, consumer group kezelés, offsetkezelés, schema registry, lemaradás, rebalancing és áteresztőképesség hibaelhárítása
- ▹Erős SQL- és adattárház-mérnöki tudás oszlopos analitikai adatbázisokkal (előnyben a ClickHouse, vagy hasonló: Druid, BigQuery, Redshift)
- ▹PySpark / Spark Streaming jártasság: eseményfolyamokat normalizáló, dúsító és üzleti szabályokat érvényesítő transzformációs feladatok írása
- ▹Adatmodellezési fegyelem: normalizált, többbérlős sémák tervezése, ahol a bérlők elkülönítése szűrő, nem szétválasztás
- ▹Tapasztalat adatszerződésekkel és sémairányítással
- ▹CI/CD és infrastructure-as-code tapasztalat: adatpipeline-ok automatizált tesztelése, verziókezelt telepítések (CloudFormation, Terraform vagy CDK), konténeres terhelések (ECS Fargate vagy Kubernetes) ismerete
- ▹Adatminőség- és megfigyelhetőség-központú szemlélet: pipeline-egészségfigyelés, automatizált adatvalidáció (Great Expectations vagy hasonló), frissességi ellenőrzések, anomáliadetektálás
Előny
- ▹Tapasztalat AWS Glue, Apache Airflow vagy Apache NiFi használatában
- ▹Tapasztalat iGaming, online kaszinó, póker vagy sportfogadási platformok területén
- ▹Ismeret blokklánc- vagy kriptonatív tranzakciós folyamatokról: láncon belüli eseménybetöltés, tokenalapú könyvelés, stablecoin-elszámolás
- ▹Jártasság AWS-natív környezetben (MSK, Glue, S3, DynamoDB, ECS, IAM), serverless kompromisszumok ismerete, költséghatékony méretezés
- ▹Feature store tapasztalat (SageMaker, Feast vagy Tecton) offline/online feature pipeline-ok építésében ML-modellek kiszolgálására
- ▹Szabályozott iparágakban (pénzügyi szolgáltatás, szerencsejáték, fintech) szerzett tapasztalat, ahol az adateredet, az auditálhatóság és a megfelelés alapkövetelmény
- ▹Régi lekérdezőmotorok (Athena, Trino, Presto) korszerű analitikai adattárházakra migrálásának tapasztalata egyeztetési keretrendszerekkel
Soft skillek
Együttműködés több csapattalFelelősség a saját területen hozott architektúra-döntésekértRészvétel tervezési felülvizsgálatokon
Amit kínálunk
- ▹Teljesen távoli munka, aszinkron-first kommunikáció
- ▹Kis, nagy autonómiájú csapat az adatfunkción belül
- ▹Az építési fázisban a sebesség és a minőség a fókusz, régi rendszerek tűzoltása nélkül
A munkáltatóról
A Block Labs technológiai stúdió a Web3, a mesterséges intelligencia és az iGaming területén, nagy léptékű, éles üzemű platformokat épít.
Hasonló állások
Állás
Data Engineer
Entain
Azure DevopsBigquery
+12
💰 Bér: nincs megadva
🏢 Helyszíni
Lisbon
🗣️ EN

Állás
Infrastructure & Data Engineer
BGBx
BigqueryDagsterDatabricksDatadog
+13
55 000 EUR/év
bruttó
🏢 Helyszíni
🗣️ EN

Állás
Data Engineer GCP (Google Cloud Plataform)
act digital
Bigquery
+2
💰 Bér: nincs megadva
🏢 Helyszíni
Porto
🗣️ EN

Állás
Data Engineer
GoCardless
AI/MLBigquery
+7
58 400–87 600 EUR/év
bruttó
🏢 Helyszíni
Lisbon
🗣️ EN

Állás
Data Engineer, Portugal
Zego
AI/MLData ScienceDbt
+8
35 000–50 000 EUR/év
bruttó
🔀 Hibrid
🗣️ EN

Állás
Data Engineer
Patrianna
FlinkBigqueryClickhouse
+11
💰 Bér: nincs megadva
🔀 Hibrid
Gibraltar
🗣️ EN