Estamos em busca de um Engenheiro de Dados Sênior para atuar na área de Crédito Imobiliário do Itaú, responsável por projetar, desenvolver e otimizar pipelines distribuídos na AWS, liderar a construção de Data Products governados e contribuir com práticas de engenharia, governança e segurança em ambientes regulados.
Analista de Engenharia de Dados Sênior - Área Crédito Imobiliário at Itaú Unibanco
Hybrid - São Paulo, São Paulo, Brasil
More jobs at Itaú UnibancoRequisitos
Habilidades
- Experiência sólida com Apache Spark
- Experiência com AWS Glue, EMR ou serviços semelhantes
- Domínio de PySpark para processamento e transformação de grandes volumes de dados
- Vivência prática com a stack de dados da AWS (S3, Glue, Athena, Redshift, Lake Formation, Lambda e serviços correlatos)
- Conhecimento avançado em modelagem de dados para Data Lakes e Data Warehouses, incluindo particionamento, formatos colunares, compactação e gestão de schemas
- Experiência com orquestração de pipelines (Airflow, Step Functions ou equivalentes)
- Proficiência em Python e SQL, aplicando boas práticas de desenvolvimento, testes e código limpo
- Experiência com monitoramento, observabilidade e troubleshooting de pipelines de dados
- Vivência com versionamento de código e integração contínua
- Certificações AWS, como Data Engineer Associate ou Solutions Architect Associate
- Experiência com Apache Hudi, Iceberg, Delta Lake ou outras tecnologias de tabelas transacionais para Data Lakes
- Vivência em iniciativas de Data Mesh e construção de plataformas orientadas a domínio
- Experiência em instituições financeiras ou ambientes altamente regulados
- Conhecimento em práticas de governança, segurança e qualidade de dados em larga escala
Responsabilidades
- Projetar, desenvolver e otimizar pipelines de dados em larga escala utilizando Apache Spark e PySpark
- Construir soluções de ingestão, transformação e disponibilização de dados em arquiteturas distribuídas na AWS
- Atuar com serviços como S3, Glue, Athena, Redshift, Lambda, Step Functions, EMR e Lake Formation
- Desenvolver e evoluir Data Products governados, interoperáveis e preparados para consumo em um modelo Data Mesh
- Participar de definições arquiteturais, revisões técnicas e disseminação de boas práticas de engenharia de dados
- Implementar práticas de CI/CD, versionamento de código e automação de infraestrutura utilizando ferramentas como Terraform, CDK ou CloudFormation
- Trabalhar em parceria com times de Engenharia de Analytics, Ciência de Dados, Negócio e Governança de Dados
- Contribuir para observabilidade, monitoramento, qualidade e confiabilidade dos pipelines
Tecnologias
Apache SparkPySparkAWS GlueAWS EMRAmazon S3Amazon AthenaAmazon RedshiftAWS Lake FormationAWS LambdaApache AirflowAWS Step FunctionsPythonSQLTerraformCDKCloudFormationApache HudiIcebergDelta Lake
See if your resume is ready for this job
See how our AI can optimize your resume and improve your chances for this role.