Git Stars Git Stars

#web-crawler Repositórios

Descubra 39 repositórios ativos de código aberto no GitHub marcados com #web-crawler, acumulando um total de 470,326 estrelas (uma média de 12,059 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.

39
Total de Repositórios
470,326
Total de estrelas
12,059
Média de Estrelas/Repositório

39 repositórios no total

1
firecrawl/firecrawl

Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-04-15
2
unclecode/crawl4ai

Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Atualizado 2026-11-20 📅 Criado 2024-05-09
3
ScrapeGraphAI/Scrapegraph-ai

Extrator Python baseado em IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Atualizado 2026-10-06 📅 Criado 2024-01-27
4
apify/crawlee

Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-08-26
5
lexmount/moli

O melhor navegador headless para agentes de IA. Leve, rápido e altamente compatível. Desenvolvido em Rust

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-08-10
6
crawlab-team/crawlab

Plataforma de administração de web crawler distribuído para gerenciamento de spiders, independentemente de linguagens e frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Atualizado 2026-02-10 📅 Criado 2019-02-10
7
apify/crawlee-python

Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-01-10
8
adithya-s-k/omniparse

Ingerir, analisar e otimizar qualquer formato de dados ➡️ de documentos a multimídia ➡️ para maior compatibilidade com frameworks de GenAI

adithya-s-k
⭐ 7,935 Python 👤 adithya-s-k User 🕐 Atualizado 2025-12-12 📅 Criado 2024-06-04
9
firecrawl/firecrawl-mcp-server

Servidor MCP oficial do Firecrawl, a API de contexto para agentes de IA: pesquise, extraia conteúdo e interaja com a web, além de analisar, rastrear e mapear sites e usar Agent e Monitor em qualquer cliente MCP.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-12-06
10
BruceDone/awesome-crawler

Uma coleção de awesome web crawler, spider em diferentes linguagens

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Atualizado 2024-06-16 📅 Criado 2016-10-10
11
KnockOutEZ/wigolo

A web ideal para seu agente de codificação de IA — pesquisa local, busca, rastreamento e pesquisa via MCP. Sem chaves de API, sem nuvem, $0/consulta. Beta pública.

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 Atualizado 2026-11-21 📅 Criado 2026-04-12
12
divinelabio/Argus

O Kit de Ferramentas Definitivo para Coleta de Informações

divinelabio
⭐ 4,348 Python 👤 divinelabio User 🕐 Atualizado 2025-12-10 📅 Criado 2024-10-01
13
Anakin-Inc/anakin

API de web scraping de código aberto. Transforme qualquer site em Markdown limpo ou JSON estruturado. Navegador anti-detecção, seleção automática de proxy, auto-hospedado. Um comando: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Atualizado 2026-08-18 📅 Criado 2026-03-17
14
apache/nutch

Apache Nutch é um rastreador web extensível e escalável

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Atualizado 2026-11-17 📅 Criado 2009-05-21
15
oxylabs/ai-crawler-py

Rastreie um site a partir de uma URL, encontre páginas relevantes e extraia dados – tudo guiado pela sua solicitação em linguagem natural.

oxylabs
⭐ 3,264 👤 oxylabs Organization 🕐 Atualizado 2026-08-21 📅 Criado 2025-09-17
16
spider-rs/spider

Coleta fundamental de dados da web com baixa latência em Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-01-07
17
0xMassi/webclaw

Extração rápida de conteúdo web local-first para LLMs. Raspe, rastreie, extraia dados estruturados — tudo em Rust. CLI, REST API e servidor MCP.

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-10
18
sjdirect/abot

Framework de web crawler C# multiplataforma, desenvolvido para velocidade e flexibilidade. Por favor, favorite este projeto! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Atualizado 2026-07-17 📅 Criado 2013-08-08
19
MarginaliaSearch/MarginaliaSearch

Motor de busca na Internet para websites orientados a texto. Indexando a web pequena, antiga e bizarra.

MarginaliaSearch
⭐ 2,241 Java 👤 MarginaliaSearch Organization 🕐 Atualizado 2026-11-18 📅 Criado 2023-03-20
20
gildas-lormeau/single-file-cli

Ferramenta CLI para salvar uma cópia fiel de uma página da web completa em um único arquivo HTML (baseado em SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Atualizado 2026-11-18 📅 Criado 2022-05-31
21
gigablast/open-source-search-engine

20 de novembro de 2017 -- Um motor de busca distribuído de código aberto e spider/crawler escrito em C/C++ para Linux em Intel/AMD. De gigablast ponto com, que tem binários para download. Veja o arquivo README.md no final desta página para instruções.

gigablast
⭐ 1,599 C++ 👤 gigablast User 🕐 Atualizado 2024-01-10 📅 Criado 2013-08-02
22
GBSOSS/skill-from-masters

Fique nas ombreiras dos gigantes — Crie habilidades de IA construídas com metodologias comprovadas de especialistas do domínio.

GBSOSS
⭐ 1,592 👤 GBSOSS Organization 🕐 Atualizado 2026-02-16 📅 Criado 2026-01-08
23
JustinBeckwith/linkinator

Verificador de links quebrados que rastreia sites e valida links. Encontre links quebrados, links inativos e URLs inválidas em sites, documentação e arquivos locais. Perfeito para auditorias de SEO e CI/CD.

JustinBeckwith
⭐ 1,290 TypeScript 👤 JustinBeckwith User 🕐 Atualizado 2026-11-20 📅 Criado 2019-02-12
24
fastcrw/crw

Alternativa rápida e leve ao Firecrawl/Tavily em Rust. API de web scraping, crawler e pesquisa com servidor MCP para agentes de IA. API compatível com Firecrawl (/scrape, /crawl, /search). 2,3x mais rápida que o Tavily, 1,5x mais rápida que o Firecrawl em benchmarks de 1K URLs. 6 MB de RAM, binário único. Auto-hospedagem ou uso em nuvem gerenciada.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-03-02
25
webrecorder/browsertrix-crawler

Execute um rastreador de arquivamento web de alta fidelidade baseado em navegador em um único contêiner Docker

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Atualizado 2026-11-19 📅 Criado 2020-11-02
26
PhialsBasement/LibreCrawl

Crawler SEO para desktop gratuito - alternativa open source ao Screaming Frog e ferramentas semelhantes. Rastreie sites, analise links, extraia dados SEO e exporte resultados sem taxas de assinatura. Totalmente personalizável e extensível!

PhialsBasement
⭐ 1,133 Python 👤 PhialsBasement User 🕐 Atualizado 2026-11-10 📅 Criado 2025-09-27
27
scrapfly/scrapfly-scrapers

Scripts escaláveis de web scraping em Python para mais de 80 domínios populares

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-05-22
28
apache/stormcrawler

Um rastreador web escalável, maduro e versátil baseado no Apache Storm

apache
⭐ 1,014 Java 👤 apache Organization 🕐 Atualizado 2026-11-17 📅 Criado 2013-04-12
29
RimoChan/sese-engine

【sese-engine】O motor de busca da nova era!

RimoChan
⭐ 952 Python 👤 RimoChan User 🕐 Atualizado 2025-05-10 📅 Criado 2022-01-09
30
firecrawl/firecrawl-app-examples

🔥 Este repositório contém exemplos completos de aplicações, incluindo sites e outros projetos, desenvolvidos usando o Firecrawl.

firecrawl
⭐ 847 Jupyter Notebook 👤 firecrawl Organization 🕐 Atualizado 2026-01-13 📅 Criado 2024-06-22
31
postmodern/spidr

Uma biblioteca versátil de web spidering em Ruby que pode rastrear um site, múltiplos domínios, links específicos ou infinitamente. Spidr foi projetada para ser rápida e fácil de usar.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Atualizado 2026-01-12 📅 Criado 2009-03-08
32
johnlui/DIYSearchEngine

🔍 Motor de busca de internet de código aberto desenvolvido em Go, com o tutorial «Desenvolva Seu Próprio Motor de Busca de Internet»

johnlui
⭐ 706 Go 👤 johnlui User 🕐 Atualizado 2026-08-27 📅 Criado 2023-07-01
33
Team-intN18-SoybeanSeclab/Phantom

Uma extensão de navegador projetada para cenários de coleta de informações de páginas na descoberta de vulnerabilidades SRC, que coleta automaticamente informações sensíveis e pistas suspeitas de páginas e recursos relacionados, suportando varredura básica, varredura recursiva profunda, testes de API em massa, exportação de resultados e configuração de expressões regulares personalizadas.

Team-intN18-SoybeanSeclab
⭐ 696 JavaScript 👤 Team-intN18-SoybeanSeclab Organization 🕐 Atualizado 2026-09-16 📅 Criado 2025-08-21
34
Madi-S/Lead-Generation

Script Python que permite a pessoas sem conhecimentos de programação gerar leads de qualidade em grande escala. Este repositório reunirá diversas técnicas versáteis utilizadas na geração de leads.

Madi-S
⭐ 693 Python 👤 Madi-S User 🕐 Atualizado 2026-09-23 📅 Criado 2020-12-14
35
cxcscmu/Craw4LLM

Repositório oficial para "Craw4LLM: Rastreamento Web Eficiente para Pré-treinamento de LLM"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Atualizado 2025-02-24 📅 Criado 2025-02-17
36
vakra-dev/reader

Infraestrutura web de código aberto para IA. Raspe, rastreie e automatize a web, limpe markdown, sessões de navegador, pronto para seus agentes.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 Atualizado 2026-10-06 📅 Criado 2026-01-07
37
jpjacobpadilla/Stealth-Requests

Web-scraping indetectável e análise de HTML perfeita em Python!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 Atualizado 2026-09-19 📅 Criado 2024-08-04
38
lefterisloukas/edgar-crawler

O único kit de ferramentas open-source que pode baixar relatórios financeiros SEC EDGAR e extrair dados textuais de seções de itens específicos em arquivos JSON estruturados, bonitos e limpos. Apresentado no WWW 2025 @ Sydney, Austrália (https://dl.acm.org/doi/10.1145/3701716.3715289)

lefterisloukas
⭐ 535 Python 👤 lefterisloukas User 🕐 Atualizado 2025-07-18 📅 Criado 2021-09-24
39
erevus-cn/pocscan

Vontade de ser um framework de varredura niubility

erevus-cn
⭐ 520 Python 👤 erevus-cn User 🕐 Atualizado 2025-07-01 📅 Criado 2016-02-02

Perguntas Frequentes

1

Qual é o repositório de #web-crawler mais popular no GitHub?

O projeto de código aberto de #web-crawler mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

2

Quais linguagens de programação são mais usadas nos repositórios de #web-crawler?

Entre os projetos de #web-crawler mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, TypeScript, Rust, Go.

3

Como é calculada a classificação dos repositórios de #web-crawler?

Acompanhamos 39 repositórios ativos de código aberto marcados com #web-crawler (com mais de 500 estrelas), totalizando 470,326 estrelas e uma média de 12,059 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.