Engenheiro de Dados

Estamos em busca de um(a) Engenheiro(a) de Dados Jr para fazer parte do nosso time de coleta e ingestão de dados.

O que você fará:

• Desenvolver soluções para coleta e ingestão de dados;

• Atuar em conjunto com nosso time de engenharia para publicar serviços de dados para uso interno e externo de forma escalável e observável;

• Coletar, mapear e analisar dados de diversas fontes, estruturadas ou não;

• Trabalhar em conjunto com nosso time de segurança para garantir políticas de segurança de dados e compliance;

• Desenvolver frameworks de testes para melhorar e garantir a qualidade dos dados coletados;

• Monitorar e documentar o status de scrapers em produção e soluções já implantadas;

• Definir e implementar métricas para monitoramento de cargas de trabalho, alinhadas aos frameworks utilizados, incluindo indicadores de SLA, SLO e SLI, para garantir observabilidade e desempenho consistente.

Requisitos:

• Formação superior em exatas (Ciências da computação, engenharia ou áreas relacionadas);

• Sólidos conhecimentos em Python (2+ anos de experiência);

• Conhecimentos em linguagem SQL (+1 anos de experiência);

• Experiência com coleta de dados da web (web scraping, web crawling, RESTful API’s, datasets públicos);

• Sólidos conhecimentos em algoritmos e estruturas de dados;

• Conhecimentos em desenvolvimento orientado a testes (TDD);

• Conhecimentos em Docker;

• Inglês intermediário.

Diferenciais:

• Experiência com processamento e extração de dados de documentos (.DOCs, .RTFs, .PDFs etc);

• Experiência com motores de busca de texto como Elasticsearch, Solr, OpenSearch, Sphinx, Amazon CloudSearch, Vespa e afins;

• Experiência com desenvolvimento nas linguagens Golang e/ou Rust;

• Experiência com pelo menos uma linguagem de programação baseada na JVM (Java, Scala, Clojure, etc.);

• Experiência com Infraestrutura como Código (Terraform, Pulumi, Chef, Ansible, etc.);

• Experiência com coleta de dados de mídia (áudio e vídeo) e sua transcrição para texto.

ATENÇÃO: Candidatos fora do perfil serão ignorados.