Senior adatmérnök

Stack

Feladatok

• ▹Végpontok közötti adatcsővezetékek és backend betöltő munkafolyamatok fejlesztése és karbantartása, részvétel a Samsara adatplatformjának építésében
• ▹Adatok kezelése különböző forrásokból: ERP (Netsuite), CRM (Salesforce), termék-, rendelési és támogatásijegy-adatok
• ▹Kritikus adatcsővezetékek kezelése a növekedési kezdeményezések és a fejlett analitika támogatására
• ▹Adatintegráció és -transzformáció az alkalmazások, az adatrétegek és az adattó között
• ▹Az adatarchitektúra, az adatminőség, a monitorozás, a megfigyelhetőség és az adatelérhetőség fejlesztése
• ▹SQL/Python adattranszformációk írása az analitikai, marketing- és értékesítési műveleti csapatok adattermékeihez
• ▹Nagy léptékű Spark- és PySpark-munkafolyamatok tervezése, építése és üzemeltetése kötegelt és streaming feldolgozáshoz Databricksen és felhőkörnyezetben
• ▹Spark-feladatok teljesítményhangolása: particionálás, shuffle, gyorsítótárazás, erőforrás-kiosztás
• ▹Adatmérnöki szabványok, minták és bevált gyakorlatok kialakítása és betartatása
• ▹Hosszú távon fenntartható rendszerek tervezése: egyértelmű szerződések, tesztelhető komponensek, átgondolt hibakezelés
• ▹MCP (Model Context Protocol) szerverek építése és karbantartása, amelyek az adateszközöket és munkafolyamatokat AI-modellek számára teszik elérhetővé
• ▹Ágens-alapú munkafolyamatok integrálása az adatmérnöki életciklusba, új AI-eszközök értékelése
• ▹Junior kollégák mentorálása, szakmai tudás átadása, projektek vezetése a belső érintettekkel együttműködve

Elvárások

• ▹Informatikai, adatmérnöki, adattudományi, információtechnológiai vagy azzal egyenértékű mérnöki alapdiploma
• ▹8+ év szoftvermérnöki tapasztalat adatfókusszal vagy adatmérnökként
• ▹5+ év nagy léptékű, éles végpontok közötti adatcsővezetékek építése és karbantartása, adatmodellezéssel
• ▹5+ év gyakorlati Spark/PySpark tapasztalat éles környezetben, optimalizálással és teljesítményhangolással
• ▹Erős Python és SQL programozás, felhőalapú adattárház/lakehouse tapasztalat (pl. Snowflake, Google BigQuery, Databricks, Apache Iceberg)
• ▹ETL-eszközök ismerete, például Fivetran, dbt vagy azzal egyenértékű
• ▹Python-alapú API-keretrendszerek használata adatbetöltéshez
• ▹RDBMS tapasztalat: MySQL, AWS RDS/Aurora, PostgreSQL, Oracle, MS SQL Server vagy azzal egyenértékű
• ▹Felhő: AWS, Azure és/vagy GCP

Előny

• ▹Központi szemantikus réteg tervezése és irányítása megbízható AI- és analitikai használatra
• ▹Naplózási és monitorozási tapasztalat: Splunk, DataDog, AWS CloudWatch vagy azzal egyenértékű
• ▹AWS serverless: API Gateway, Lambda, S3, SNS, SQS, Secrets Manager

Soft skillek

A munkáltatóról

A Samsara (NYSE: IOT) a Connected Operations Cloud úttörője: IoT-adatokkal segíti a fizikai műveleteken alapuló iparágakat, hogy biztonságosabban, hatékonyabban és fenntarthatóbban működjenek.