Git Stars Git Stars

#web-crawling Repositórios

Descubra 38 repositórios ativos de código aberto no GitHub marcados com #web-crawling, acumulando um total de 211,837 estrelas (uma média de 5,574 por projeto). O líder deste tópico é unclecode/crawl4ai, com 87,627 estrelas.

38
Total de Repositórios
211,837
Total de estrelas
5,574
Média de Estrelas/Repositório

38 repositórios no total

1
unclecode/crawl4ai

Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Atualizado 2026-11-20 📅 Criado 2024-05-09
2
apify/crawlee

Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-08-26
3
lexmount/moli

O melhor navegador headless para agentes de IA. Leve, rápido e altamente compatível. Desenvolvido em Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-08-10
4
apify/crawlee-python

Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-01-10
5
prerender/prerender

Servidor Node que usa Headless Chrome para renderizar uma página renderizada em javascript como HTML. Para ser usado em conjunto com o middleware prerender.

prerender
⭐ 6,577 JavaScript 👤 prerender Organization 🕐 Atualizado 2026-05-05 📅 Criado 2013-09-26
6
MontFerret/ferret

Linguagem declarativa de automação de dados e runtime Go para fluxos de trabalho de extração estruturada.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Atualizado 2026-11-19 📅 Criado 2018-08-23
7
omkarcloud/botasaurus

O Framework Tudo em Um para Construir Scrapers Invencíveis

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 Atualizado 2026-11-13 📅 Criado 2023-05-09
8
google/robotstxt

O repositório contém o analisador e o verificador robots.txt do Google como uma biblioteca C++ (compatível com C++11).

google
⭐ 3,478 C++ 👤 google Organization 🕐 Atualizado 2026-04-01 📅 Criado 2019-06-11
9
CrawlScript/WebCollector

O WebCollector é um framework de web crawler de código aberto baseado em Java. Ele fornece interfaces simples para rastrear a Web, e você pode configurar um rastreador web multithreaded em menos de 5 minutos.

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 Atualizado 2026-02-10 📅 Criado 2014-07-12
10
digininja/CeWL

CeWL é um Gerador de Lista de Palavras Personalizada

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 Atualizado 2026-06-24 📅 Criado 2016-04-22
11
brightdata/brightdata-mcp

Um servidor poderoso de Protocolo de Contexto de Modelo (MCP) que fornece uma solução completa para acesso público à web.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Atualizado 2026-11-18 📅 Criado 2025-04-15
12
tavily-ai/tavily-mcp

Servidor MCP pronto para produção com pesquisa, extração, mapeamento e rastreamento em tempo real.

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 Atualizado 2026-11-18 📅 Criado 2025-01-27
13
dataabc/weibo-search

Obtenha informações dos resultados de pesquisa do Weibo; a pesquisa pode ser tanto por palavra-chave do Weibo quanto por tópico do Weibo.

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 Atualizado 2026-06-05 📅 Criado 2020-03-25
14
coleam00/mcp-crawl4ai-rag

Web Crawling e Capacidades RAG para Agentes de IA e Assistentes de Codificação de IA

coleam00
⭐ 2,224 Python 👤 coleam00 User 🕐 Atualizado 2025-07-25 📅 Criado 2025-05-03
15
zhegexiaohuozi/SeimiCrawler

Um framework de crawler Java simples, ágil e distribuído com suporte a SpringBoot; Um framework de crawler ágil e distribuído.

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 Atualizado 2026-11-17 📅 Criado 2015-11-06
16
firecrawl/fireplexity

🔥 Motor de busca de IA de código aberto semelhante ao Perplexity, com citações em tempo real, respostas em streaming e dados em tempo real, alimentado por Firecrawl.

firecrawl
⭐ 1,956 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2025-08-22 📅 Criado 2025-06-19
17
DanMcInerney/xsscrapy

Spider XSS - 66/66 XSS wavsep detectados

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 Atualizado 2024-06-13 📅 Criado 2014-06-23
18
xnl-h4ck3r/xnLinkFinder

Uma ferramenta Python usada para descobrir endpoints, parâmetros potenciais, uma lista de palavras específica para um alvo e segredos.

xnl-h4ck3r
⭐ 1,599 Python 👤 xnl-h4ck3r User 🕐 Atualizado 2026-03-08 📅 Criado 2022-04-14
19
submato/xhscrawl

dados do Xiaohongshu, coleta de dados do XHS, engenharia reversa do Xiaohongshu, engenharia reversa do XS do Xiaohongshu, scraper do Xiaohongshu, dados do Xiaohongshu

submato
⭐ 1,533 👤 submato User 🕐 Atualizado 2026-11-02 📅 Criado 2023-07-05
20
ShilongLee/Crawler

Servidor de API de código aberto para web scraping de plataformas como Douyin (versão mais recente de a_bogus), Kuaishou, Bilibili, Xiaohongshu, Taobao, JD.com, Weibo, etc. Implantação rápida com um clique via docker.

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 Atualizado 2026-10-19 📅 Criado 2024-05-24
21
wummel/linkchecker

verificar links em documentos web ou websites completos

wummel
⭐ 1,433 Python 👤 wummel User 🕐 Atualizado 2024-11-07 📅 Criado 2012-12-19
22
regenrek/deepwiki-mcp

📖 Servidor MCP para buscar deepwiki.com e obter o conhecimento mais recente no Cursor e em outros Editores de Código

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 Atualizado 2026-03-20 📅 Criado 2025-04-28
23
mvdbos/php-spider

Um rastreador web PHP configurável e extensível

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 Atualizado 2026-11-02 📅 Criado 2013-02-25
24
scrapinghub/frontera

Uma fronteira escalável para rastreadores da web

scrapinghub
⭐ 1,329 Python 👤 scrapinghub Organization 🕐 Atualizado 2025-06-06 📅 Criado 2014-11-22
25
Darwin-lfl/langmanus

Uma estrutura de automação de IA impulsionada pela comunidade que se baseia no trabalho incrível da comunidade de código aberto. Nosso objetivo é combinar modelos de linguagem com ferramentas especializadas para tarefas como pesquisa na web, rastreamento (crawling) e execução de código Python, ao mesmo tempo em que retribuímos à comunidade que tornou isso possível.

Darwin-lfl
⭐ 1,317 👤 Darwin-lfl User 🕐 Atualizado 2025-03-17 📅 Criado 2025-03-18
26
harlan-zw/mdream

☁️ O conversor de HTML para markdown mais rápido no GitHub. Otimizado para LLMs e suporta streaming.

harlan-zw
⭐ 1,032 TypeScript 👤 harlan-zw User 🕐 Atualizado 2026-11-21 📅 Criado 2025-04-16
27
changfengoss/pub

Ferramenta para acessar a internet cientificamente

changfengoss
⭐ 1,007 👤 changfengoss User 🕐 Atualizado 2026-10-22 📅 Criado 2021-08-30
28
tiliondev/fortress

Motor Chromium furtivo que impede que scrapers e agentes de navegador sejam bloqueados com uma única alteração em uma linha de código.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Atualizado 2026-11-03 📅 Criado 2026-07-02
29
hyperbrowserai/mcp

Uma implementação de servidor MCP para hyperbrowser

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 Atualizado 2025-11-20 📅 Criado 2025-02-25
30
rubycdp/vessel

Framework Ruby rápido de alto nível para rastreamento web

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 Atualizado 2026-11-03 📅 Criado 2019-09-17
31
spatie/laravel-export

Criar um pacote de site estático a partir de um aplicativo Laravel

spatie
⭐ 701 PHP 👤 spatie Organization 🕐 Atualizado 2026-11-06 📅 Criado 2019-03-18
32
muratcankoylan/AI-Investigator

Um sistema de IA automatizado (framework Python) projetado para analisar qualquer tipo de conteúdo de site e gerar relatórios estruturados usando a API Claude 3.5 Sonnet e Firecrawl. Embora atualmente configurado para estudos de caso de IA empresarial, a arquitetura pode ser adaptada para diversas necessidades de análise de conteúdo.

muratcankoylan
⭐ 679 Python 👤 muratcankoylan User 🕐 Atualizado 2024-11-05 📅 Criado 2024-11-04
33
cxcscmu/Craw4LLM

Repositório oficial para "Craw4LLM: Rastreamento Web Eficiente para Pré-treinamento de LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Atualizado 2025-02-24 📅 Criado 2025-02-17
34
ArchiveTeam/wpull

Descarregador e rastreador web compatível com Wget.

ArchiveTeam
⭐ 595 HTML 👤 ArchiveTeam Organization 🕐 Atualizado 2024-04-29 📅 Criado 2013-12-07
35
unconv/gpt4v-browsing

Web Scraping com GPT-4 Vision API e Puppeteer

unconv
⭐ 563 JavaScript 👤 unconv User 🕐 Atualizado 2024-01-31 📅 Criado 2023-11-24
36
detectify/page-fetch

Recupere páginas da web usando o Chrome sem cabeça, armazenando todos os recursos recuperados, incluindo arquivos JavaScript. Execute JavaScript arbitrário em muitas páginas da web e veja os valores retornados

detectify
⭐ 530 Go 👤 detectify Organization 🕐 Atualizado 2026-07-03 📅 Criado 2021-06-03
37
firecrawl/llmstxt-generator

🔥 Gere os arquivos llms.txt e llms-full.txt para qualquer site!

firecrawl
⭐ 528 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2025-06-17 📅 Criado 2024-11-19
38
brave-people/Dev-Event-Subscribe

🎉🎈 Assine o serviço de e-mail "📧 Dev Event" e receba notícias todas as semanas por e-mail

brave-people
⭐ 512 👤 brave-people Organization 🕐 Atualizado 2024-06-07 📅 Criado 2021-02-08

Perguntas Frequentes

1

Qual é o repositório de #web-crawling mais popular no GitHub?

O projeto de código aberto de #web-crawling mais bem classificado no GitHub é unclecode/crawl4ai, com 87,627 estrelas. Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.

2

Quais linguagens de programação são mais usadas nos repositórios de #web-crawling?

Entre os projetos de #web-crawling mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, JavaScript, Go.

3

Como é calculada a classificação dos repositórios de #web-crawling?

Acompanhamos 38 repositórios ativos de código aberto marcados com #web-crawling (com mais de 500 estrelas), totalizando 211,837 estrelas e uma média de 5,574 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.