Engenheiro de Dados Sênior
Localização: São Paulo – SP
Detalhes da VagaEscolaridade Não InformadoSegmento Não InformadoSalário Não InformadoÁrea de AtuaçãoDiversos / OutrosO que você irá fazer
- O profissional será responsável por construir e otimizar processos de ETL , desenvolver fluxos de processamento massivo de dados , além de projetar e implementar modelos de dados para suportar as demandas do negócio.
- Se você tem experiência em Dataiku, AWS Glue, Amazon Redshift e Apache Spark , além de um sólido conhecimento em bancos de dados SQL e NoSQL , essa oportunidade é para você! Atuação HÍBRIDA 2x na semana na Avenida Paulista/SP Responsabilidades e atribuições Desenvolver e manter pipelines de dados eficientes e escaláveis, utilizando AWS Glue e Dataiku ; Criar e otimizar processos de ETL para manipulação e transformação de grandes volumes de dados; Construir fluxos de processamento massivo de dados na casa de terabytes utilizando Dataiku e Apache Spark ; Projetar e implementar modelos de dados relacionais e dimensionais para atender às necessidades do negócio; Criar e otimizar consultas SQL para análise, transformação e manipulação de dados; Trabalhar com bancos de dados SQL e NoSQL (MongoDB, Cassandra, Redis, DynamoDB ); Forte conhecimento e experiência com Amazon Redshift , incluindo modelagem, administração e otimização; Experiência com AWS DMS e SQL CDC para replicação e sincronização de dados em tempo real; Experiência em rotinas de processamento transacionais com alta performance no Dataiku e AWS Glue ; Automatizar processos de ingestão e tratamento de dados para garantir eficiência operacional.
- Requisitos e qualificações Certificações em AWS ou Dataiku; Experiência comprovada em engenharia de dados, com atuação em ambientes de grande escala; Proficiência em Python , incluindo bibliotecas voltadas para manipulação de dados (Pandas, PySpark, etc.
- ); Experiência com Dataiku , incluindo desenvolvimento de fluxos de dados, integração com fontes diversas e automação de processos; Experiência com AWS Glue , incluindo desenvolvimento de ETLs e tunning de performance; Experiência com Amazon Redshift , incluindo modelagem, administração e otimização de performance; Experiência com AWS DMS e SQL CDC para replicação e movimentação de dados em tempo real; Proficiência em SQL , incluindo otimização de consultas e modelagem de dados; Conhecimento de bancos de dados NoSQL (MongoDB, Cassandra, Redis, DynamoDB ); Experiência em modelagem de dados, incluindo esquemas relacionais e dimensionais; Conhecimento de Apache Spark para processamento distribuído de grandes volumes de dados;
Informações AdicionaisQuantidade de Vagas 1Jornada Não Informado
Empresa: Não informado