#scraping Repositórios
Descubra 109 repositórios ativos de código aberto no GitHub marcados com #scraping, acumulando um total de 768,143 estrelas (uma média de 7,047 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.
109 repositórios no total
Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev
Scrapy, um framework Python rápido e de alto nível para rastreamento e raspagem web.
Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.
Chromedriver Selenium Personalizado | Configuração Zero | Ultrapassa TODOS os sistemas de mitigação de bots (como Distil / Imperva / Datadadome / CloudFlare IUAM)
Navegador headless stealth para agentes de IA — contorna Cloudflare, detecção de bots e anti-scraping. Substituição drop-in do Puppeteer/Playwright.
Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.
Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.
Um Extrator de dados da web Inteligente, Automático, Rápido e Leve para Python
Tabula é uma ferramenta para libertar tabelas de dados presas dentro de arquivos PDF
Ferramenta Python e de linha de comando para coletar texto e metadados da Web: Rastreamento, raspagem, extração, com saída em CSV, JSON, HTML, MD, TXT, XML
Pydoll é uma biblioteca para automatizar navegadores baseados em chromium sem um WebDriver, oferecendo interações realistas.
🚀 Lista de proxies HTTP, SOCKS4 e SOCKS5 gratuitos * Atualizada a cada 5 minutos * e API de proxy rotativo (mais de 100 países)
Raspador da API do Twitter | Sem uma chave de API | API Interna do Twitter | Gratuito | Raspador do Twitter | Bot do Twitter
Ferramenta multifuncional para raspar e extrair dados de ativos online, feita para hackers
Mechanize é uma biblioteca ruby que facilita a interação web automatizada.
Coleção de tópicos úteis de ciência de dados, juntamente com artigos, vídeos e código
Faça engenharia reversa de qualquer site para transformá-lo em um cliente de API tipado. Compatível com Claude Code, Codex, Cursor e OpenCode.
Gerador de user-agent simples e atualizado com banco de dados do mundo real
AnyCrawl 🚀: Um rastreador Node.js/TypeScript que transforma sites em dados prontos para LLM e extrai resultados SERP estruturados do Google/Bing/Baidu/etc. Multi-threading nativo para processamento em massa.
Um navegador de impressão digital de código aberto baseado no Ungoogled Chromium. Navegador de impressão digital. Navegador de privacidade.
Você quer APRENDER COISAS NOVAS de GRAÇA? Não se preocupe, com o poder de web-scraping e automação, este script encontrará os cupons Udemy necessários e inscreverá você em CURSOS PAGOS DA UDEMY, TOTALMENTE GRÁTIS!
Biblioteca Python e CLI para scraping de X/Twitter com rotação de múltiplas contas e tratamento integrado de limites de taxa.
Aprenda passo a passo como extrair dados do Google Trends e fazer uma comparação de resultados usando Python e a API SERP da Oxylabs. Extraia palavras-chave, sua popularidade, detalhamento por região, consultas relacionadas e muito mais.
Geziyor, framework de rastreamento e raspagem web ultrarrápido para Go. Suporta renderização JS.
Um servidor poderoso de Protocolo de Contexto de Modelo (MCP) que fornece uma solução completa para acesso público à web.
Ferramentas de fingerprinting de navegador para anonimizar seus scrapers. Desenvolvido por Apify.
Núcleo Avançado de Navegador de Privacidade com Defesa Unificada de Impressões Digitais: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore
Playwright invisível: um Playwright que os sistemas antibot não conseguem detectar, sem captchas: a mesma API, Firefox headless furtivo com proteção contra detecção, impressão digital indetectável, contorna a detecção de bots, web scraping e automação de navegador com Python.
Um utilitário de linha de comando para tirar capturas de tela de sites, gravar demonstrações em vídeo e raspar sites usando JavaScript
Folha de dicas OSINT, lista de ferramentas OSINT, wiki, conjunto de dados, artigo, livro, OSINT de equipe vermelha (red team) para hackers, dicas OSINT e ramificação OSINT. Este repositório será atualizado a cada nova pesquisa, abrangendo pesquisa, ciência, tecnologia e tutoriais. Por favor, use-o com sabedoria.
Lista de ferramentas e navegadores anti-detecção e de humanização, incluindo resolvedores de captcha e ativação por SMS.
Internet-in-a-Box - Construa sua própria BIBLIOTECA DE ALEXANDRIA com um Raspberry Pi !
Esconda o IP dos seus scrapers por trás da nuvem. Provisione servidores proxy em diferentes provedores de nuvem para melhorar o sucesso do seu scraping.
Neste tutorial, demonstramos como extrair dados públicos do Google com Python e a API Oxylabs.
Obtenha dados limpos de documentos complexos, impulsionado por modelos de visão e linguagem ⚡
Perguntas Frequentes
Qual é o repositório de #scraping mais popular no GitHub?
O projeto de código aberto de #scraping mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Quais linguagens de programação são mais usadas nos repositórios de #scraping?
Entre os projetos de #scraping mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Go, JavaScript.
Como é calculada a classificação dos repositórios de #scraping?
Acompanhamos 109 repositórios ativos de código aberto marcados com #scraping (com mais de 500 estrelas), totalizando 768,143 estrelas e uma média de 7,047 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.