Staff szoftvermérnök – elosztott adatrendszerek

Stack

Feladatok

• ▹Apache Spark fejlesztése, a big data de facto nyílt forráskódú keretrendszere
• ▹Data Plane Storage: megbízható, nagy teljesítményű szolgáltatások és kliens-könyvtárak fejlesztése hatalmas adatmennyiség tárolásához és eléréséhez felhő storage-hátterekhez (AWS S3, Azure Blob Store)
• ▹Delta Lake: tárolás-kezelő rendszer, amely ötvözi az adattavak méretezhetőségét és költséghatékonyságát, az adatraktárak teljesítményét és megbízhatóságát, valamint a streaming alacsony késleltetését, ACID tranzakciókkal és time travel funkcióval
• ▹Delta Pipelines: tíz- és százezer adatfeldolgozási pipeline egyszerű orkesztrálásának és üzemeltetésének lehetővé tétele
• ▹Performance Engineering: a következő generációs, gyors, hangolást nem igénylő, skálázható és robusztus lekérdezés-optimalizáló és -végrehajtó motor építése

Elvárások

• ▹BS informatikából, rokon műszaki területről, vagy ezzel egyenértékű gyakorlati tapasztalat
• ▹Kényelmes munkavégzés többéves vízió mentén, fokozatos szállítási lépésekkel
• ▹Ügyfélérték és hatás által vezérelt hozzáállás
• ▹8+ év termelési szintű tapasztalat Java, Scala vagy C++ nyelven
• ▹Erős algoritmus- és adatszerkezet-alapok, valós felhasználási esetek ismeretével
• ▹Tapasztalat elosztott rendszerekkel, adatbázisokkal és big data rendszerekkel (Apache Spark, Hadoop)

Előny

• ▹MS vagy PhD adatbázisok vagy elosztott rendszerek területén (opcionális)

Soft skillek

A munkáltatóról

A Databricks az adat és AI vállalat, amelyet 2013-ban alapítottak az Apache Spark eredeti alkotói. Berkeley-i kis irodából mára 1000+ alkalmazottal rendelkező globális szervezetté nőtte ki magát. Több mint 10 000 szervezet, köztük a Fortune 500 fele, a Databricks Data Intelligence platformot használja adatok, analitika és AI egységesítésére és demokratizálására.