Engenheiro de Dados Júnior at ANBIMA

Hybrid - São Paulo, SP

Apply

Na ANBIMA, seu trabalho tem o poder de impactar pessoas, mercado e sociedade. Somos uma estrutura de inteligência do mercado financeiro e de capitais. Representamos bancos, corretoras, gestoras de recursos, securitizadoras e outras empresas, para tomar juntos as melhores decisões que vão guiar o futuro do mercado. Nossa missão é fazer com que os negócios cresçam e desenvolvam em todo o seu potencial, transformando a economia do nosso país. Para fazer esse movimento, precisamos de pessoas com diferentes perspectivas, ideias e experiências. Por isso assumimos um papel ativo como transformadores não apenas do mercado, mais também da sociedade, corrigindo injustiças sociais em favor da equidade no nosso ambiente de trabalho. Criamos essa vaga para pessoas negras, pois queremos dar oportunidade para você criar aqui na ANBIMA o impacto que pode ter com a sua carreira.

Requisitos

Habilidades

  • Engenharia de Dados
  • conceitos básicos de arquitetura e governança
  • Databricks
  • projetar, construir e otimizar soluções de dados
  • Airflow
  • Databricks - Workflow
  • Delta Lake
  • Unity Catalog
  • Spark
  • Python
  • SQL
  • plataforma de nuvens
  • AWS
  • EC2
  • S3
  • Redshift
  • Tokens
  • GitLab
  • CICD
  • GitFlow
  • Data Lake
  • Data Lakehouse
  • Data Mesh
  • Data Sharing
  • Dataiku
  • comunicação verbal e escrita

Responsabilidades

  • Auxílio no desing, desenvolvimento e implementação de pipelines de dados de ponta a ponta utilizando Databricks para ETL, streaming e processamento em lote.
  • Trabalhar em parceria com os stakeholders e outros membros da equipe para converter requisitos de negócios em especificações técnicas e soluções escaláveis.
  • Auxílio na Implementar processos e procedimentos para garantir qualidade, em termos de Governança de Dados, segurança e otimização no ambiente Databricks.
  • Trabalhar no entendimento e desafios dos clientes e expandir oportunidades de negócios.
  • Atento aos processos e procedimento da área de engenharia de dados, garantindo que os marcos sejam atingidos dentro dos prazos e limites orçamentários estabelecidos.
  • Trabalhar com automatização de processo seguro e robusto de CICD, para entrega de pipeline de dados.
  • Boa comunicação com time de engenharia e time de negócio.
  • Criar relacionamentos com as áreas, propor solução que agregue o negócio.

Tecnologias

DatabricksAirflowDelta LakeUnity CatalogSparkPythonSQLAWSEC2S3RedshiftGitLabGitFlowData LakeData LakehouseData MeshData SharingDataiku

Share job

See if your resume is ready for this job

See how our AI can optimize your resume and improve your chances for this role.