Adatmérnök

Stack

Feladatok

• ▹BigQuery adatmodellek építése és karbantartása Dataform segítségével, medallion architektúra (Bronze/Silver/Gold) mintáit követve
• ▹Hozzájárulás Looker dashboardokhoz és LookML modellekhez
• ▹Teljesítményes, jól strukturált SQL írása nagy méretű BigQuery transzformációkhoz
• ▹Adatminőség-ellenőrzések implementálása Dataform assertion-ökkel és automatikus riasztással
• ▹Adat-megfigyelhetőség támogatása a raktárban: pipeline-egészség, adatfrissesség, anomáliadetektálás
• ▹Robusztus Python adatpipeline-ok építése és karbantartása teszteléssel, lintinggel és CI/CD integrációval
• ▹Munka orkesztrációs eszközökkel (Cloud Composer / Airflow) a workflow-k ütemezésére és monitorozására
• ▹CDC koncepciók és esemény-vezérelt beolvasási minták (Datastream, Pub/Sub) megismerése
• ▹Munkaterhelések konténerizálása Dockerrel Cloud Run-ra vagy hasonló GCP szolgáltatásra való telepítéshez
• ▹Adattudósok támogatása a jegyzetfüzetből a termelési pipeline-ba való átállásban
• ▹Hozzájárulás feature pipeline-okhoz és adatelőkészítéshez ML munkaterhelésekhez

Elvárások

• ▹SQL jártasság - komplex, teljesítményes lekérdezések írása nagy adathalmazokon BigQuery-ben
• ▹Dataform tapasztalat, vagy erős dbt tapasztalat Dataform-ra való nyitottsággal; moduláris, verziókövetett adattranszformáció ismerete
• ▹Python mérnöki szemlélettel - tiszta, tesztelt, lintelt kód, Git és CI/CD workflow-k ismerete
• ▹GCP jártasság - gyakorlati BigQuery tapasztalat elengedhetetlen; szélesebb GCP ismeret (Cloud Storage, Cloud Run, Pub/Sub, Datastream) erős előny
• ▹Orkesztrációs tapasztalat - Cloud Composer, Airflow vagy hasonló eszköz
• ▹Adatmodellezési alapok - dimenzionális modellezés, Kimball elvek vagy medallion architektúra minták
• ▹Docker alapok - munkaterhelések konténerizálása és telepítése
• ▹Együttműködő és kommunikatív hozzáállás - üzleti követelmények adatmodellekké fordítása
• ▹Pragmatikus hozzáállás az AI eszközökhöz

Előny

• ▹Looker / LookML tapasztalat
• ▹CDC koncepciók és eszközök ismerete (Datastream, Debezium)
• ▹ML keretrendszerek vagy MLOps eszközök ismerete (scikit-learn, MLflow, Vertex AI)
• ▹AWS tapasztalat kiegészítésként (Redshift, Glue, RDS)

Soft skillek

A munkáltatóról

A Kitman Labs a sportteljesítmény-intelligencia vállalata, amely az Intelligence Platform (iP) nevű rendszerrel forradalmasítja, hogyan használ a sportszakma adatot a világ élsportolóinak potenciáljának kiaknázására. Platformját több mint 2000 csapat használja 50 ligában, 6 kontinensen, köztük az NFL, a Premier League, az NWSL és az MLS.