Estamos buscando uma pessoa para a posição de Analista de Engenharia de Dados Sênior, que queira se desenvolver e aprender, compartilhar, colaborar e inovar, entregando valor para todos os nossos clientes. Nessa função você vai atuar como referência técnica em engenharia de dados, sendo responsável por projetar, desenvolver e evoluir soluções escaláveis para ingestão, processamento, armazenamento e disponibilização de dados.
Analista de Engenharia de Dados Sênior - Stackspot na Itaú Unibanco
Híbrido - São Paulo, São Paulo, Brasil
Ver mais vagas na Itaú UnibancoRequisitos
Habilidades
- AWS Glue Jobs (Spark/PySpark)
- AWS Lambda
- Amazon S3 (Data Lake)
- Amazon Athena
- Amazon SQS
- Amazon EventBridge
- AWS Step Functions
- AWS Secrets Manager
- AWS IAM
- Experiência com arquitetura de dados moderna
- Processamento distribuído
- Desenvolvimento de soluções escaláveis em nuvem
- Experiência com arquiteturas orientadas a eventos
- Conhecimento em Data Lakes e Data Mesh
- Vivência com CI/CD, observabilidade e Data Quality
- Experiência em ambientes de grande volume de dados e alta escalabilidade
Responsabilidades
- Projetar, desenvolver e sustentar pipelines de dados em ambiente AWS
- Estruturar e evoluir arquiteturas de dados em camadas, incluindo SOR (System of Record), SOT (Source of Truth) e camadas especializadas
- Implementar estratégias de ingestão, transformação e disponibilização de dados em larga escala
- Desenvolver soluções de processamento batch e orientadas a eventos
- Garantir qualidade, consistência, rastreabilidade e governança dos dados
- Definir e implementar estratégias de particionamento, otimização de processamento e performance de consultas
- Gerenciar histórico, versionamento e linhagem dos dados
- Desenvolver código reutilizável, escalável e aderente às boas práticas de engenharia de software
- Implementar testes automatizados e monitoramento dos processos de dados
- Atuar como referência técnica para a squad, apoiando decisões arquiteturais e evolução da plataforma de dados
Tecnologias
AWS GlueSparkPySparkAWS LambdaAmazon S3Amazon AthenaAmazon SQSAmazon EventBridgeAWS Step FunctionsAWS Secrets ManagerAWS IAM
Descubra se seu currículo está pronto para esta vaga
Veja como nossa IA pode otimizar seu currículo e aumentar suas chances de conseguir esta posição.