Állás

Data platform mérnök

Data Engineer • Remote • Teljes munkaidő • Portugália Portugália

Az új, többbérlős adatplatform valós idejű adatfolyamainak végpontok közötti felelőse: egységes analitikai adattárházat és feature-kiszolgáló réteget épít a valós idejű döntéshozataltól a prediktív modellezésig. Teljesen távoli munka.

Feladatok

  • ▹Skálázható adatpipeline-ok tervezése, építése és karbantartása AWS Glue (PySpark) vagy hasonló orkesztrációs és transzformációs eszközökkel
  • ▹A ClickHouse adattárház mérnöki kialakítása és optimalizálása, hogy az összes háttérrendszerben ezredmásodperces lekérdezési teljesítményt nyújtson
  • ▹Adatszerződések bevezetése a háttérrendszerek és a platform között
  • ▹Feature-kiszolgáló réteg építése, amely előre kiszámított jellemzőket ad az AI-ügynököknek milliszekundumos késleltetéssel
  • ▹Integráció harmadik fél adatbázisaival, háttérrendszer API-kkal és külső rendszerekkel (CRM, affiliate- és akvizíciós platformok)
  • ▹Monitorozás, riasztás és karbantartási eljárások kialakítása: pipeline-egészség ellenőrzés, frissességmonitorozás, anomáliadetektálás, adatszerződési SLA-k betartatása
  • ▹A CI/CD és az infrastruktúra kódként való kezelése az adatmunkaterhelésekhez
  • ▹Együttműködés adatkutatókkal, agent-mérnökökkel, BI-fejlesztőkkel és infrastruktúra-csapatokkal

Elvárások

  • ▹3+ év tapasztalat éles, nagy léptékű adatpipeline-ok építésében és üzemeltetésében, streaming és batch megközelítéssel is
  • ▹Apache Kafka (vagy Amazon MSK) ismerete: topictervezés, consumer group kezelés, offsetkezelés, schema registry, lemaradás, rebalancing és áteresztőképesség hibaelhárítása
  • ▹Erős SQL- és adattárház-mérnöki tudás oszlopos analitikai adatbázisokkal (előnyben a ClickHouse, vagy hasonló: Druid, BigQuery, Redshift)
  • ▹PySpark / Spark Streaming jártasság: eseményfolyamokat normalizáló, dúsító és üzleti szabályokat érvényesítő transzformációs feladatok írása
  • ▹Adatmodellezési fegyelem: normalizált, többbérlős sémák tervezése, ahol a bérlők elkülönítése szűrő, nem szétválasztás
  • ▹Tapasztalat adatszerződésekkel és sémairányítással
  • ▹CI/CD és infrastructure-as-code tapasztalat: adatpipeline-ok automatizált tesztelése, verziókezelt telepítések (CloudFormation, Terraform vagy CDK), konténeres terhelések (ECS Fargate vagy Kubernetes) ismerete
  • ▹Adatminőség- és megfigyelhetőség-központú szemlélet: pipeline-egészségfigyelés, automatizált adatvalidáció (Great Expectations vagy hasonló), frissességi ellenőrzések, anomáliadetektálás

Előny

  • ▹Tapasztalat AWS Glue, Apache Airflow vagy Apache NiFi használatában
  • ▹Tapasztalat iGaming, online kaszinó, póker vagy sportfogadási platformok területén
  • ▹Ismeret blokklánc- vagy kriptonatív tranzakciós folyamatokról: láncon belüli eseménybetöltés, tokenalapú könyvelés, stablecoin-elszámolás
  • ▹Jártasság AWS-natív környezetben (MSK, Glue, S3, DynamoDB, ECS, IAM), serverless kompromisszumok ismerete, költséghatékony méretezés
  • ▹Feature store tapasztalat (SageMaker, Feast vagy Tecton) offline/online feature pipeline-ok építésében ML-modellek kiszolgálására
  • ▹Szabályozott iparágakban (pénzügyi szolgáltatás, szerencsejáték, fintech) szerzett tapasztalat, ahol az adateredet, az auditálhatóság és a megfelelés alapkövetelmény
  • ▹Régi lekérdezőmotorok (Athena, Trino, Presto) korszerű analitikai adattárházakra migrálásának tapasztalata egyeztetési keretrendszerekkel

Soft skillek

Együttműködés több csapattalFelelősség a saját területen hozott architektúra-döntésekértRészvétel tervezési felülvizsgálatokon

Amit kínálunk

  • ▹Teljesen távoli munka, aszinkron-first kommunikáció
  • ▹Kis, nagy autonómiájú csapat az adatfunkción belül
  • ▹Az építési fázisban a sebesség és a minőség a fókusz, régi rendszerek tűzoltása nélkül

A munkáltatóról

A Block Labs technológiai stúdió a Web3, a mesterséges intelligencia és az iGaming területén, nagy léptékű, éles üzemű platformokat épít.

Hasonló állások