Engenheiro(a) de Dados Pleno – Big Data / Spark

Engenheiro(a) de Dados Pleno – Big Data / Spark Sobre a oportunidade Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma Client Contribution . O profissional será responsável por construir pipelines escaláveis, garantir a qualidade dos dados e contribuir para a evolução da arquitetura de Big Data em um ambiente ágil e orientado por boas práticas de engenharia. Responsabilidades Desenvolver, manter e otimizar soluções de processamento de dados; Projetar e desenvolver processos de ETL e transformação de dados; Implementar e manter pipelines utilizando Apache Spark ; Apoiar iniciativas de integração de dados entre diferentes sistemas; Analisar e solucionar incidentes relacionados a dados; Garantir a qualidade, performance e confiabilidade das soluções de dados; Trabalhar em conjunto com equipes multidisciplinares em ambiente Agile . Requisitos obrigatórios Mínimo de 3 anos de experiência em Engenharia de Dados e desenvolvimento; Conhecimento sólido em SQL , incluindo: ANSI SQL; Hive SQL; Spark SQL; Experiência com Apache Spark ; Conhecimento em pelo menos uma das seguintes linguagens: Scala ; Python ; Java ; Experiência com plataformas Big Data , como: Azure Databricks ; Amazon EMR ; Hive ; Cloudera ; ou outro ambiente baseado em Spark; Experiência com Qlik Sense para desenvolvimento de relatórios e dashboards; Vivência em ambientes de Integração Contínua (CI) , DevOps e metodologias ágeis; Conhecimento em ferramentas como: Git ; GitHub ; SonarQube ; Nexus ; Capacidade de análise de requisitos e trabalho colaborativo; Inglês nível B2 ou superior . Espanhol nível B2 ou superior. Diferenciais Interesse ou experiência no uso de ferramentas de Inteligência Artificial aplicadas à Engenharia de Dados; Conhecimento em automação de processos utilizando IA; Interesse em utilizar assistentes de desenvolvimento para aumentar produtividade, qualidade do código e eficiência das soluções analíticas. Condições da posição Atuação 100% remota ; É obrigatória a disponibilidade para mudança futura para Portugal ou Espanha , caso seja necessário por questões de projeto, estratégia da empresa ou requisitos legais; Enquanto estiver no Brasil, o trabalho será realizado integralmente em regime remoto; Os currículos deverão ser apresentados em inglês . Originally posted on Himalayas