#web-scraping Repositórios
Descubra 381 repositórios ativos de código aberto no GitHub marcados com #web-scraping, acumulando um total de 2,147,590 estrelas (uma média de 5,636 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.
382 repositórios no total
Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Programa de linha de comando para baixar vídeos do YouTube.com e de outros sites de vídeo
Biblioteca Python de código aberto para agentes de navegador com IA, além do Browser Use Cloud: navegadores furtivos e uma API hospedada para agentes.
🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev
Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.
Nota do Xiaohongshu | Web scraping de comentários, Vídeo do Douyin | Web scraping de comentários, Vídeo do Kuaishou | Web scraping de comentários, Vídeo do Bilibili | Web scraping de comentários, Postagem do Weibo | Web scraping de comentários, Postagem do Baidu Tieba | Web scraping de respostas de comentários do Baidu Tieba | Artigo de perguntas e respostas do Zhihu | Web scraping de comentários
Scrapy, um framework Python rápido e de alto nível para rastreamento e raspagem web.
Legado 3.0 Book Reader with powerful controls & full functions❤️. O Leitura 3.0 é uma ferramenta que permite personalizar as fontes para a leitura de conteúdo online, proporcionando aos amantes da literatura online uma experiência de leitura conveniente, rápida e confortável.
Clone qualquer site com um comando usando agentes de codificação com IA
A melhor e mais simples ferramenta para detectar alterações em sites, monitorar páginas da web e receber alertas de mudanças. Ideal para acompanhar alterações de conteúdo, quedas de preço, avisos de reposição de estoque e adulterações em sites — com MCP incluído! Tudo grátis ou aproveite nosso plano SaaS!
Chromium furtivo que passa em todos os testes de detecção de bots. Substituto direto do Playwright com patches de impressão digital no nível do código-fonte. Mais de 50 testes aprovados.
Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.
O SDK para extrair dados e interagir com qualquer site na web. Comece com Claude Code, Codex, Eve, Mastra e muito mais.
O melhor navegador headless para agentes de IA. Leve, rápido e altamente compatível. Desenvolvido em Rust
🚀 API auto-hospedada para coletar dados do Douyin, TikTok e Bilibili e baixar vídeos sem marca-d'água. Compatível com chamadas de agentes de IA via MCP e transcrição de fala offline. Implantação Docker com um clique. | Extrator auto-hospedado para TikTok, Douyin e Bilibili e baixador de vídeos sem marca-d'água — API REST assíncrona, servidor MCP para agentes de IA, CLI e console web, além de transcrição de fala offline para os vídeos baixados. Pool de identidades autorreparável, arquivo PostgreSQL e inicialização com um único `docker compose up`.
Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.
Alternativa de código aberto ao NotebookLM, isolada de redes e focada na privacidade. Um agente de IA que pesquisa, transforma e edita seus documentos. Entre no nosso Discord: https://discord.gg/ejRNvftDp9
Converta sites de documentação, repositórios do GitHub e PDFs em habilidades do Claude AI com detecção automática de conflitos
🚂 12306 Assistente de compra de bilhetes, suporta cluster, múltiplas contas, compra de bilhetes multi-tarefas e gestão de página Web
Agente de IA de código aberto para automação na web. Use seu navegador real com a sessão iniciada para automatizar tarefas diárias.
Automação de navegador rápida e confiável para testes de ponta a ponta, raspagem de dados e navegação furtiva. Contorna a detecção de bots com o modo CDP. Integra-se ao pytest, Playwright e MCP.
Um prático downloader do Douyin para downloads de itens individuais e de perfis em lote, com exibição do progresso, novas tentativas, deduplicação com SQLite e suporte a fallback pelo navegador. Ferramenta de download em lote do Douyin compatível com vídeos, álbuns de imagens, coleções e músicas (áudio original).
Navegador headless stealth para agentes de IA — contorna Cloudflare, detecção de bots e anti-scraping. Substituição drop-in do Puppeteer/Playwright.
jsoup: o parser HTML para Java, construído para edição, limpeza, raspagem (scraping) de HTML e segurança contra XSS.
Solucionador de CAPTCHA automatizado para o seu navegador. Funciona com Selenium, Puppeteer, Playwright e mais.
Ponte de automação de navegação de alto desempenho e orquestrador multi-instância com injeção furtiva avançada e painel de controle em tempo real.
Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.
FreeAskInternet é um agregador de pesquisa e gerador de respostas completamente gratuito, PRIVADO e executado LOCALMENTE, que utiliza MÚLTIPLOS LLMs, sem necessidade de GPU. O usuário pode fazer uma pergunta e o sistema realizará uma pesquisa multi-motor e combinará o resultado da pesquisa com o LLM para gerar a resposta com base nos resultados da pesquisa. É tudo GRATUITO para usar.
Coleta de dados com crawler do Xiaohongshu (RED), engenharia reversa do Xiaohongshu, mensagens privadas, transmissão ao vivo e soluções de operação integral no Xiaohongshu
Este repositório do GitHub é uma poderosa coleção de APIs que você pode começar a usar imediatamente para construir tudo, desde automações simples até aplicativos em grande escala. Uma das listas de APIs mais valiosas do GitHub — ponto final. 💪
raspar dados do Google Maps. Extrai dados como nome, endereço, número de telefone, URL do site, classificação, número de avaliações, latitude e longitude, avaliações, e-mail e mais para cada lugar
Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.
Um Extrator de dados da web Inteligente, Automático, Rápido e Leve para Python
Servidor MCP oficial do Firecrawl, a API de contexto para agentes de IA: pesquise, extraia conteúdo e interaja com a web, além de analisar, rastrear e mapear sites e usar Agent e Monitor em qualquer cliente MCP.
Grande cevada bilhete automático de compra, suporte para pessoal, cidade, data, sessão, seleção de preços
Ferramenta Python e de linha de comando para coletar texto e metadados da Web: Rastreamento, raspagem, extração, com saída em CSV, JSON, HTML, MD, TXT, XML
Pydoll é uma biblioteca para automatizar navegadores baseados em chromium sem um WebDriver, oferecendo interações realistas.
Binding Python para o fork curl-impersonate via cffi. Um cliente http que pode simular impressões digitais de navegador tls/ja3/http2.
CLI de automação de navegador construída para agentes de IA. Supere barreiras anti-bot, transfira para humanos em várias plataformas quando estiver travado. Execução paralela de múltiplas tarefas, operação independente de múltiplas sessões, navegação isolada de múltiplas contas.
Um clone de pesquisa profunda de código aberto. Um Agente de IA que analisa grandes quantidades de dados da web extraídos com o Firecrawl
Linguagem declarativa de automação de dados e runtime Go para fluxos de trabalho de extração estruturada.
O EyeWitness foi projetado para tirar capturas de tela de websites, fornecer algumas informações de cabeçalho do servidor e identificar credenciais padrão, se possível.
Perguntas Frequentes
Qual é o repositório de #web-scraping mais popular no GitHub?
O projeto de código aberto de #web-scraping mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.
Quais linguagens de programação são mais usadas nos repositórios de #web-scraping?
Entre os projetos de #web-scraping mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, JavaScript, Go.
Como é calculada a classificação dos repositórios de #web-scraping?
Acompanhamos 381 repositórios ativos de código aberto marcados com #web-scraping (com mais de 500 estrelas), totalizando 2,147,590 estrelas e uma média de 5,636 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.