Data Engineer Pleno

Descrição da empresa

A InfoPrice tem foco em pesquisa e inteligência de preços. Nós coletamos dados do varejo físico e os transformamos em informação para clientes e parcerias!

Atividades e Responsabilidades

- Manutenção do Data Lake, com novas fontes de dados e integridade das atuais;
- Criação e manutenção do data Pipeline de Big Data (Ingestão de Dados, pré-cálculo e cálculo);
- Ser responsável pela qualidade e monitoramentos dos pipelines;
- Criação e manutenção dos workflows de coleta de dados abertos e de bases de parceiros;
- Otimização de processos de ETL para garantir menor custo e tempo de execução;
- Otimização dos ETL em nossos bancos SQL e No-SQL.

Requisitos

Experiência em Web Crawling/Scrapping

O que nós oferecemos