Backend mérnök II - Data Platform

Stack

Feladatok

• ▹Az adatkatalógus, a lineage és a publikálórendszerek mögötti backend szolgáltatások és API-k tervezése, építése és üzemeltetése, fejlesztésük az új tárolási technológiák és adattípusok bevezetésével; magas elvárások a helyesség, a teljesítmény és a megbízhatóság terén
• ▹Batch és streaming adatfeldolgozó pipeline-ok fejlesztése és futtatása, amelyek naprakészen tartják a metaadatokat: platformesemények és audit-naplók feldolgozása, lineage és metaadatok átalakítása más csapatok által használt adattermékekké
• ▹Projektek végigvitele az elejétől a végéig: a platformot használó csapatok igényeinek műszaki tervvé alakítása, a megvalósítás és bevezetés levezénylése, az éles működés felelőssége
• ▹Részvétel az ügyeletben kritikus szolgáltatásoknál, alapértelmezett observability és minőségellenőrzés, automatizálás (köztük AI-eszközök) a csapat és a felhasználók terheinek csökkentésére

Elvárások

• ▹Szilárd tapasztalat backend szolgáltatások és API-k éles építésében és üzemeltetésében Java-val, figyelem az API-tervezésre, a verziózásra és a visszafelé kompatibilitásra
• ▹SQL-ismeret, tapasztalat adat-pipeline-okkal vagy felhőalapú adattárházzal, például BigQuery, Snowflake vagy Databricks
• ▹Az adatmérnöki fogalmak (orchestration, metaadat-kezelés, adatminőség, governance, lineage) működő ismerete
• ▹A problémák világos, szállítható lépésekre bontása, kompromisszumok és kockázatok mérlegelése, egyértelmű javaslatok megfogalmazása
• ▹Felelősségvállalás az átadott munka minőségéért, az AI segítségével írt kódot is beleértve, és az üzemeltetés fontossága a bevezetés után

Előny

• ▹Gyakorlati tapasztalat batch vagy streaming keretrendszerekkel, például Beam, Flink vagy Spark

Soft skillek

Amit kínálunk

• ▹Munkavégzés Stockholmban vagy Londonban, rugalmasan választható munkavégzési hely
• ▹Lehetőség otthoni munkavégzésre, alkalmi személyes megbeszélésekkel
• ▹Segítség az észszerű alkalmazkodást igénylő jelentkezőknek az interjúfolyamat során

A munkáltatóról

A Spotify adatplatform-csapata építi azokat a rendszereket, amelyekben a Spotify minden adatkészlete regisztrálva, publikálva és nyomon követve van: innen tudható, milyen adat létezik, hol van, kié, és hogyan áramlik egyik pipeline-ból a másikba. A csapat nyílt szabványokra, például az OpenLineage-re és az Apache Icebergre épít.