Engenheira de Dados Sênior (AWS) responsável por criar e manter pipelines de dados, desenvolver componentes reutilizáveis, trabalhar em arquitetura Data Mesh, colaborar com equipes, e contribuir para cultura data-driven em clientes e produtos da Zup.
Pessoa Engenheira de Dados Sênior (AWS) at Zup
Hybrid - Brasil
Requisitos
Experiência
- Experiência com serviços de Data & Analytics da nuvem AWS (Glue, EMR, Athena, Quicksight)
- Experiência prática em bases de dados relacionais (SQL) e NoSQL
- Experiência com processamento de dados em larga escala, processamento paralelo e distribuído (Apache Spark, Hadoop, Hive)
Habilidades
- Python
- AWS services (S3, Lambda, SQS, DynamoDB, API Gateway)
- Apache Spark
- Hadoop
- Hive
- Glue
- EMR
- Athena
- Quicksight
- SQL
- NoSQL
- Terraform
- CodePipeline
Responsabilidades
- Participar do processo de entendimento das necessidades do negócio
- Desenhar a arquitetura e avaliar as tecnologias disponíveis para resolver o problema certo
- Implementar pipelines de Dados para democratização de dados em uma arquitetura Data Mesh
- Combinar a arquitetura e tecnologia para desenvolver e entregar componentes reutilizáveis como conectores, APIs, SDKs, CLIs
- Testar e automatizar tudo que for possível
- Validar e adaptar os componentes de acordo com os feedbacks dos usuários
- Colaborar com a qualidade e inovação tecnológica do produto e ambiente de trabalho
Tecnologias
Apache SparkHadoopHiveGlueEMRAthenaQuicksightPythonS3LambdaSQSDynamoDBAPI GatewaySQLNoSQLTerraformCodePipeline
See if your resume is ready for this job
See how our AI can optimize your resume and improve your chances for this role.