Engenheiro de Dados Sênior

Localização: Brazil, BR

Perfil profissional: DATA

Experiência requerida:

Modalidade do cargo: Remoto

Requisitos

• Experiência sólida, de no mínimo 7 anos, em Engenharia de Dados;

• Vivência em projetos de alta complexidade, preferencialmente em ambientes corporativos críticos e/ou do segmento bancário/financeiro;

• Experiência avançada com Databricks, incluindo:

  • Unity Catalog;
  • Delta Lake;
  • Workflows e Jobs;
  • Delta Live Tables (DLT);
  • SQL Editor;

• Experiência com AWS integrada ao Databricks;

• Domínio de Apache Spark, atuando com processamento batch e streaming;

• Experiência com desenvolvimento em Python, especialmente notebooks para ingestão, transformação e processamento de dados;

• Conhecimento sólido em processos de ETL/ELT;

• Experiência com modelagem de dados relacional e dimensional;

• Experiência com bancos de dados relacionais, especialmente Db2 e SQL Server;

• Conhecimento em integração de dados utilizando JDBC;

• Experiência na integração e processamento de dados provenientes de múltiplas fontes;

• Conhecimento em construção e sustentação de pipelines de dados escaláveis, performáticos e confiáveis;

• Vivência em metodologias e ambientes ágeis;

• Forte conhecimento de boas práticas de Engenharia de Dados, qualidade, organização e governança.

Será considerado diferencial:

• Experiência com replicação de dados em tempo real;

• Conhecimento em Data Lakes e governança de dados;

• Experiência com Scala;

• Conhecimento em R e SAS;

• Experiência com bancos de dados MPP, como Netezza e Redshift;

• Vivência com ambientes legados e processos de modernização/evolução tecnológica gradual;

• Experiência prévia no setor bancário/financeiro.

Responsabilidades

• Projetar, desenvolver, sustentar e evoluir pipelines de dados escaláveis utilizando Databricks e AWS;

• Desenvolver soluções de processamento de dados utilizando Apache Spark, tanto em batch quanto em streaming;

• Criar e manter processos de ETL/ELT, garantindo eficiência, qualidade e confiabilidade dos dados;

• Desenvolver notebooks e aplicações em Python para ingestão, transformação e processamento de grandes volumes de dados;

• Utilizar recursos do Databricks, como Unity Catalog, Delta Lake, Workflows, Jobs e DLT, na construção e orquestração dos pipelines;

• Integrar diferentes fontes e sistemas de dados, incluindo Db2 e SQL Server, utilizando JDBC quando aplicável;

• Apoiar a construção e evolução de arquiteturas modernas de dados e Data Lakes;

• Garantir performance, disponibilidade, segurança, governança e qualidade dos processos de dados;

• Atuar na identificação e resolução de problemas relacionados aos pipelines e ambientes de dados;

• Contribuir para a definição e aplicação de boas práticas de Engenharia de Dados;

• Trabalhar de forma colaborativa com equipes técnicas e áreas de negócio em um ambiente ágil;

• Atuar em ambientes críticos e sistemas legados, propondo melhorias e evoluções de forma estruturada;

• Garantir organização, documentação e qualidade das entregas técnicas;

• Participar da evolução tecnológica da plataforma de dados, considerando os requisitos de negócio, arquitetura e operação.