Engenheiro (a) de Software Sênior Web Scraping

Sobre o MelhorPlano.net

Nossa missão aqui no MelhorPlano.net é ajudar milhões a economizar bilhões, ajudando consumidores a encontrar o melhor serviço para o seu perfil de consumo 🤑

Já somos os líderes em comparação de telefonia no Brasil e queremos ser referência também na comparação de outros serviços. Fazemos isso em alinhamento com os nossos valores, sendo transparentes com todos que se relacionam conosco e entregando resultados acima da média. Afinal, temos um objetivo bem ambicioso 💪

O nosso time nasceu em março de 2016 e desde lá tivemos um crescimento acelerado. Compramos o site do Minha Conexão em 2020, um dos maiores sites de teste de velocidade do país. Em 2021 nos tornamos parte do grupo Méliuz, uma empresa entre as melhores empresas para se trabalhar segundo o Great Place to Work e com ações na bolsa de valores. Como parte do grupo CASH3, temos muito potencial de crescimento e muita vontade para tornar isso realidade 🔥

Muitos dizem que o porquinho é o animal que melhor representa quando o assunto é economia, disso a gente entende e por esse motivo nos chamamos de Mini-pigs 🐷

Já pensou em 💻 trabalhar remotamente 💻, da sua casa, de um coworking ou de qualquer lugar do mundo, e ainda impactar positivamente a vida de milhões de usuários? 🙌

Na MelhorPlano, você irá entrar em um time enxuto para assumir com autonomia a manutenção e evolução do nosso serviço e plataforma de crawlers responsável por coletar e manter atualizados os dados externos que alimentam nossos comparadores. O objetivo é ter um sistema cada vez mais estável, resiliente e que exija cada vez menos intervenção manual ao longo do tempo (alô agente de IA), com projetos em andamento que vão nessa direção e que você vai ser responsável por evoluir e entregar.

Esse é o contexto de entrada, mas buscamos alguém que enxergue além dele. À medida que o sistema ganhar maturidade e exigir cada vez menos atenção, a expectativa é que esse profissional possa contribuir em outros contextos de produto da engenharia, então flexibilidade e ausência de apego a um único domínio ou tecnologia são características que valorizamos muito.

Assim, procuramos um engenheiro(a) de software com experiência em web scraping para atuar com autonomia no dia a dia. Não terá alguém mais sênior do lado orientando as decisões técnicas, você vai receber direção estratégia da liderança, mas o caminho técnico é seu. 

Por isso, buscamos alguém independente, colaborativo, senso de dono, que queira crescer conosco, proativo, com boa comunicação, que goste de resolver problemas independentemente da complexidade, desde atividades simples de manutenção e evolução até desafios maiores, e que tenha interesse genuíno em construir e evoluir sistemas para que exijam cada vez menos intervenção, sejam resilientes e fáceis de manter.

Também esperamos alguém com mente aberta para explorar novas tecnologias e novas formas de desenvolvimento, principalmente no contexto de desenvolvimento assistido por IA, tanto na evolução dos nossos sistemas baseado em LLMs quanto na produtividade de desenvolvimento em si no dia a dia.

Responsabilidades e atribuições

• Desenvolver e manter crawlers e scrapers escaláveis e resilientes.
• Garantir a coleta, processamento e atualização confiável dos dados.
• Resolver problemas complexos relacionados a bloqueios, CAPTCHA, rate limits e mudanças estruturais nos sites.
• Evoluir o nosso serviço de crawlers visando estabilidade e baixíssima necessidade de manutenção;
• Monitorar falhas, qualidade dos dados, execução dos crawlers e indicadores de saúde da plataforma.
• Implementar mecanismos de observabilidade, logs, alertas e tratamento de erros.
• Melhorar continuamente performance, consumo de recursos e tempo de execução das coletas.
• Tomar decisões técnicas com autonomia, tendo maturidade para identificar quando uma decisão precisa ser escalada para a liderança da engenharia.
• Ser o ponto de contato técnico desse contexto de crawlers junto aos outros times da empresa.
• Investigar incidentes e atuar rapidamente na resolução dos problemas.
• Explorar e aplicar novas tecnologias, ferramentas e abordagens melhores.
   

Requisitos obrigatórios:

• +5 anos de experiência profissional como desenvolvedor(a) de software, tendo atuado em algum momento com projetos de web scraping ao longo da carreira.
• Forte experiência com Typescript.
• Experiência sólida com Node.js no backend.
• Experiência com web scraping.
• Experiência com arquitetura serverless utilizando AWS Lambda
• Experiência com Puppeteer, Playwright, Scrapy ou bibliotecas similares
• Conhecimento ou experiência prática em sistemas integrados a LLMs
• Conhecimento em sistemas anti-bot, proxies, rate limiting e mecanismos de resiliência para crawling
• Experiência com mensageria, filas e processamento assíncrono (SQS, Kafka ou similares)
• Experiência com observabilidade, monitoramento e troubleshooting de aplicações
• Conhecimento em logs, métricas, alertas e ferramentas como AWS CloudWatch
• Experiência com MongoDB
• Experiência com APIs REST
• Sabe tirar proveito real do desenvolvimento assistido por IA (Claude Code/Cursor) como parte natural do fluxo de trabalho para alavanca de produtividade
• Boa capacidade analítica e de resolução de problemas
• Perfil autônomo, proativo colaborativo, boa comunicação e capacidade de planejamento e priorização.
• Flexibilidade para atuar com diferentes tecnologias conforme o contexto, sem apego a stack. O que importa é resolver o problema com eficiência.