Data Engineer (Mid-Level) | Engenheiro de Dados (Pleno) at Indicium AI

Remote - Brasil

Apply
More jobs at Indicium AI

Responsável pelo desenvolvimento, implementação e manutenção de soluções de dados escaláveis, confiáveis e de alta performance. Irá projetar e construir pipelines de dados, garantindo a integração, segurança e confiabilidade de dados de diversas fontes para atender às necessidades de aplicações internas e externas, bem como para suportar análises avançadas e a tomada de decisão estratégica da empresa.

Requisitos

Habilidades

  • Experiência de pelo menos 2 anos trabalhando com dados.
  • Experiência com Spark e ferramentas de orquestração.
  • Experiência com o funcionamento de Data Warehouses.
  • Experiência com infraestrutura e processamento de dados na nuvem.
  • Experiência com sistemas de controle de versão (GitHub, GitLab, Bitbucket, etc).
  • Conhecimento avançado em SQL.
  • Inglês intermediário.
  • Experiência com a ferramenta Databricks.
  • Certificação em plataforma de nuvem pública (AWS, Azure, Snowflake, Databricks, GPC) a nível Associate ou equivalente.
  • Conhecimento em dbt.
  • Experiência com ferramentas de Infrastructure as Code (IaC), como Terraform.

Responsabilidades

  • Realizar a ingestão/Integrar dados de diversas fontes (bancos de dados relacionais e NoSQL, APIs de serviço interno e externos, arquivos e outros.) e garantir a qualidade e consistência dos dados.
  • Implementar soluções de armazenamento de dados (Data Warehouses, Data Lakes) e otimizar o desempenho de consultas e processamento de dados.
  • Administrar o carregamento de dados em storages distribuídos (sejam eles relacionais ou não relacionais).
  • Agregar dados com ferramentas distribuídas que conseguem lidar com grandes volumes de dados.
  • Projetar, desenvolver e manter pipelines de dados (ELT) robustos e eficientes, utilizando as melhores práticas de engenharia de dados.
  • Garantir que todo o processo de ELT esteja funcionando por meio de monitoramento e métricas como SLA.
  • Monitorar a execução do ELT hospedados na nuvem e on-premises.
  • Garantir a segurança e governança dos dados, implementando políticas de acesso e qualidade de dados.
  • Provisionar e/ou manter a infraestrutura de dados, garantindo a escalabilidade, disponibilidade e segurança.
  • Automatizar o provisionamento e gerenciamento da infraestrutura utilizando ferramentas de Infrastructure as Code (IaC).
  • Disseminação de boas práticas de Devops e Dataops no time.
  • Colaborar com as equipes para fornecer soluções de dados que atendam às necessidades do negócio.
  • Pesquisar e implementar novas tecnologias e ferramentas para melhorar a eficiência e escalabilidade das soluções de dados.
  • Ter liberdade e pensamento crítico para propor e questionar soluções relacionadas à engenharia de dados.
  • Documentar processos, arquiteturas e soluções de dados.

Tecnologias

SparkDatabricksData WarehouseData LakeInfrastructure as CodeTerraformGitHubGitLabBitbucketSQLAWSAzureSnowflakeGPCdbt

Share job

See if your resume is ready for this job

See how our AI can optimize your resume and improve your chances for this role.