#web-scraping Repositórios
382 repositórios no total
Mecanismo de scraping auto-hospedado — ignora qualquer desafio JS e captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa ao FlareSolverr e Byparr e substituição direta para sua pilha *arr.
Uma biblioteca JavaScript para gerar user agents aleatórios com dados atualizados diariamente.
Uma API auto-hospedada que recebe uma URL e retorna um arquivo com capturas de tela do navegador.
Fornecer raspadores para todos os principais bancos e empresas de cartão de crédito israelenses
Uma ferramenta para raspar o LinkedIn sem restrições de API para reconhecimento de dados
Scripts escaláveis de web scraping em Python para mais de 80 domínios populares
Neste repositório você encontrará arquivos de código de exemplo para cada dia do curso "Python para OSINT. Um curso de 21 dias para iniciantes".
Cálculo puro Xiaohongshu xs, engenharia reversa de cálculo puro para campos como Xiaohongshu x-s, x-s-common, xsc, e outros.
Escreva web scrapers em Ruby usando um DSL limpo e assistido por IA. O Kimurai utiliza IA para descobrir onde os dados estão, em seguida armazena em cache os seletores e faz scraping com Ruby puro. Obtenha a inteligência de um LLM sem a latência por solicitação ou custos de tokens.
Mais de 660 modelos de mídia generativa hospedados pelo muapi, além de ferramentas de API de terceiros enviadas pela comunidade (SEO, enriquecimento, redes sociais, scraping) — um arquivo YAML por entrada, com navegação por funcionalidade.
Navegador antidetecção em nível de kernel com a API Playwright que você já utiliza. SDKs para Python e Node, compatível com MCP e perfis locais ilimitados. Linux x64 + arm64, macOS Intel + Apple Silicon e Windows x64.
Identifique a última vez que esta posição foi modificada em um relance, verde significa dentro de 2 semanas, laranja escuro significa dentro de 1,5 meses e vermelho significa mais de 1,5 meses.
Projeto de análise da opinião pública baseado em dados do Weibo, incluindo rastreador do Weibo, análise de tópicos LDA e análise de sentimento.
Um proxy furtivo HTTP de próxima geração que mascara perfeitamente as solicitações como se fossem do navegador Chrome em todas as camadas da pilha.
SiteOne Crawler é um rastreador e analisador de websites multiplataforma para otimização de SEO, segurança, acessibilidade e desempenho — ideal para desenvolvedores, DevOps, engenheiros de QA e consultores. Suporta Windows, macOS e Linux (x64 e arm64).
Uma biblioteca Rust para extrair dados úteis de documentos HTML, adequada para web scraping.
Classificação dos resultados de pesquisa do Google Scholar com base no número de citações
Código para "WebVoyager: WebVoyager: Construindo um Agente Web Ponta a Ponta com Grandes Modelos Multimodais"
Geek Time Course Downloader, suporta o download de colunas, cursos em vídeo, lições diárias, práticas de grandes empresas e vídeos de acampamentos de treinamento do Geek Time
Este é um navegador headless leve, desenvolvido especificamente para que agentes de IA (como o Codex ou o Claude Code) executem tarefas de automação de navegador. Ele foi projetado para lidar com diversos sistemas de proteção da Web, processos de login e cenários de engenharia reversa.
Permite baixar em massa todos os seus eBooks Kindle de uma forma mais automatizada. Esta ferramenta permite criar cópias de segurança dos livros que você já comprou.
Ferramenta de verificação automática de códigos promocionais ChatGPT Team (Business) — descoberta em lote/validação/coleta de preços, suporta 34 códigos em 17 países, até 71% de desconto | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off
Uma extensão do Chrome para detecção de informações sensíveis e identificação de impressões digitais em páginas web
Dorks Eye: Script de Raspagem e Pesquisa de Dorks de Google Hacking. Dorks Eye é um script que fiz em python 3. Com esta ferramenta, você pode encontrar facilmente Google Dorks. O Dork Eye coleta páginas web e aplicações potencialmente vulneráveis na Internet, ou outras informações fantásticas que são captadas pelos bots de pesquisa do Google. Autor: Jolanda de Koff