Desenvolvedor(a) Back-end (Web Scraping / Bots)

Descrição da empresa

A Speedio é uma Startup que aplica Big Data para vendas. Através do cruzamento de mais de 2 bilhões de data points facilitamos a vida de profissionais de vendas por meio de automatização e análise preditiva. Nosso produto é direcionado para a audiência global e contamos com o apoio e auxílio de PhDs em BigData e Machine Learning.

Atividades e Responsabilidades

CÓDIGO VAGA: B001
Sua missão será desenvolver bots avançados para web scraping, criando soluções robustas e escaláveis. Você enfrentará desafios como quebra de captchas, uso de proxies e simulação de interações humanas! \o/
- Desenvolvimento de bots para coleta automatizada de dados, garantindo eficiência e resiliência.
- Soluções para superar barreiras como captchas, bloqueios de IP e verificações anti-bot.
- Implementação e otimização de sistemas de roteamento e gerenciamento de proxies (residenciais, datacenter, rotativos, etc.)
- Integração de práticas de scraping com diretrizes legais e éticas.
- Monitoramento de bots em cenários de alto volume de dados, garantindo desempenho e escalabilidade.
- Realizar logging e debugging para análise e melhorias contínuas dos bots.
- Metodologias de desenvolvimento ágil (SCRUM ou similares).

Requisitos

- Linguagem: Python.
- Experiência comprovada acima de 3 anos em desenvolvimento, com foco em automação e scraping.
- Frameworks e bibliotecas de scraping: Scrapy, Selenium.
- Experiência com Playwright ou Puppeteer para scraping baseado em navegadores.
- Quebra de captchas: Conhecimento em OCR (Tesseract) e integração com serviços como 2Captcha, Anti-Captcha, DeathByCaptcha).
- Familiaridade com soluções de machine learning para quebra de captchas customizados.
- Gerenciamento de proxies: Experiência com Rotating Proxies e pools de proxies.
- Gerenciamento de Headers e Cookies: Para simular requisições humanas.
- Familiaridade com mecanismos de proteção (Cloudflare) e estratégias para superá-los.
- Experiência com WebSockets e scraping em tempo real.
- Utilização de containers (Docker) para deploy e gerenciamento de bots.
- Desenvolvimento em ambientes Unix/Linux.

O que nós oferecemos