Engenheiro de Dados Sênior
Localização: São Paulo – SP
DescriçãoEstamos em busca de um Engenheiro de Dados altamente qualificado para integrar nosso time e atuar no desenvolvimento e manutenção de pipelines de dados escaláveis e eficientes. O profissional será responsável por construir e otimizar processos de ETL, desenvolver fluxos de processamento massivo de dados, além de projetar e implementar modelos de dados para suportar as demandas do negócio.Se você tem experiência em Dataiku, AWS Glue, Amazon Redshift e Apache Spark, além de um sólido conhecimento em bancos de dados SQL e NoSQL, essa oportunidade é para você!
- Atuação HÍBRIDA 2x na semana na Avenida Paulista/SP
Responsabilidades e atribuições
- Desenvolver e manter pipelines de dados eficientes e escaláveis, utilizando AWS Glue e Dataiku;
- Criar e otimizar processos de ETL para manipulação e transformação de grandes volumes de dados;
- Construir fluxos de processamento massivo de dados na casa de terabytes utilizando Dataiku e Apache Spark;
- Projetar e implementar modelos de dados relacionais e dimensionais para atender às necessidades do negócio;
- Criar e otimizar consultas SQL para análise, transformação e manipulação de dados;
- Trabalhar com bancos de dados SQL e NoSQL (MongoDB, Cassandra, Redis, DynamoDB);
- Forte conhecimento e experiência com Amazon Redshift, incluindo modelagem, administração e otimização;
- Experiência com AWS DMS e SQL CDC para replicação e sincronização de dados em tempo real;
- Experiência em rotinas de processamento transacionais com alta performance no Dataiku e AWS Glue;
- Automatizar processos de ingestão e tratamento de dados para garantir eficiência operacional.
Requisitos e qualificações
- Certificações em AWS ou Dataiku;
- Experiência comprovada em engenharia de dados, com atuação em ambientes de grande escala;
- Proficiência em Python, incluindo bibliotecas voltadas para manipulação de dados (Pandas, PySpark, etc.);
- Experiência com Dataiku, incluindo desenvolvimento de fluxos de dados, integração com fontes diversas e automação de processos;
- Experiência com AWS Glue, incluindo desenvolvimento de ETLs e tunning de performance;
- Experiência com Amazon Redshift, incluindo modelagem, administração e otimização de performance;
- Experiência com AWS DMS e SQL CDC para replicação e movimentação de dados em tempo real;
- Proficiência em SQL, incluindo otimização de consultas e modelagem de dados;
- Conhecimento de bancos de dados NoSQL (MongoDB, Cassandra, Redis, DynamoDB);
- Experiência em modelagem de dados, incluindo esquemas relacionais e dimensionais;
- Conhecimento de Apache Spark para processamento distribuído de grandes volumes de dados;
Empresa: Extractta