Állás · Principal

Staff szoftvermérnök - elosztott adatrendszerek

Szoftverfejlesztő • Principal • Hibrid • Teljes munkaidő Amerikai Egyesült Államok Mountain View, USA

A Databricks Runtime csapatánál a következő generációs elosztott adattárolási és -feldolgozási rendszereket építed, amelyek relációs lekérdezési teljesítményben felülmúlják a specializált SQL motorokat, miközben ETL-től data science-ig sokféle munkaterhelést támogatnak.

Feladatok

  • Apache Spark fejlesztése: a big data de facto nyílt forráskódú standard keretrendszere
  • Data Plane Storage: megbízható, nagy teljesítményű szolgáltatások és kliens-könyvtárak fejlesztése hatalmas adatmennyiség cloud storage backendeken (AWS S3, Azure Blob Store) történő tárolásához és eléréséhez
  • Delta Lake: adattárház-szintű teljesítményt és megbízhatóságot, adattó-szintű skálázhatóságot és streaming-szintű alacsony latenciát ötvöző tárkezelő rendszer fejlesztése, ACID tranzakciókkal és time travel funkcióval
  • Delta Pipelines: magas szintű absztrakciók fejlesztése adat-pipeline-ok orkesztrálásához és üzemeltetéséhez, tízezres nagyságrendben
  • Performance Engineering: a következő generációs, gyors, hangolásmentes, skálázható és robusztus lekérdezés-optimalizáló és végrehajtó motor fejlesztése

Elvárások

  • Számítástechnikai BSc vagy hasonló műszaki terület, vagy azzal egyenértékű gyakorlati tapasztalat (opcionálisan MSc/PhD adatbázisok vagy elosztott rendszerek területén)
  • Kényelmes munka többéves vízió mentén, fokozatos szállítási mérföldkövekkel
  • 8+ év production-szintű tapasztalat Java, Scala vagy C++ nyelven
  • Erős algoritmus- és adatszerkezet-alapok, valós felhasználási esetek ismeretével
  • Tapasztalat elosztott rendszerekkel, adatbázisokkal és big data rendszerekkel (Apache Spark, Hadoop)

Soft skillek

Hosszú távú vízió mentén dolgozik, fokozatos szállítási mérföldkövekkelAz ügyfélérték és a valós hatás szállítása vezérli a munkáját

Amit kínálunk

  • Éves teljesítményalapú bónuszra való jogosultság
  • Equity (részvényjuttatás) lehetőség

A munkáltatóról

A Databricks az adat és AI vállalata, az Apache Spark eredeti megalkotói alapították 2013-ban; több mint 10 000 szervezet, köztük a Fortune 500 vállalatok több mint fele használja a Databricks Data Intelligence Platformot.

Nyelvtudás: English: Advanced
Végzettség: BS in Computer Science, related technical field, or equivalent practical experience; optionally MS/PhD in databases or distributed systems

Hasonló állások