Git Stars Git Stars

#crawler Repositórios

Descubra 162 repositórios ativos de código aberto no GitHub marcados com #crawler, acumulando um total de 1,111,814 estrelas (uma média de 6,863 por projeto). O líder deste tópico é firecrawl/firecrawl, com 205,758 estrelas.

162
Total de Repositórios
1.1M
Total de estrelas
6,863
Média de Estrelas/Repositório

162 repositórios no total

1
firecrawl/firecrawl

Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-04-15
2
D4Vinci/Scrapling

🕷️ O MELHOR framework de web scraping, que dá conta de tudo, desde uma única solicitação até uma coleta em grande escala! Não seja tímido: participe aqui https://discord.gg/EMgGbDceNQ e siga-nos aqui para receber dicas e truques diários: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Atualizado 2026-11-17 📅 Criado 2024-10-13
3
unclecode/crawl4ai

Crawl4AI Cloud oficial: uma API hospedada de scraping da web, extração e pesquisa para agentes de IA. Chave de API gratuita, 1.000 créditos por mês e sem cartão. Totalmente de código aberto: este repositório contém o crawler Apache-2.0 que o alimenta, e você pode hospedá-lo por conta própria.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Atualizado 2026-11-20 📅 Criado 2024-05-09
4
scrapy/scrapy

Scrapy, um framework Python rápido e de alto nível para rastreamento e raspagem web.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Atualizado 2026-11-19 📅 Criado 2010-02-22
5
NaiboWang/EasySpider

Um crawler/spider web visual sem código: um software de automação de navegador, coleta de dados e web scraping que permite projetar e executar tarefas de rastreamento graficamente, sem escrever código. Alias: ServiceWrapper, um sistema inteligente de encapsulamento de serviços para aplicações web.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Atualizado 2026-11-16 📅 Criado 2020-07-18
6
ScrapeGraphAI/Scrapegraph-ai

Extrator Python baseado em IA

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Atualizado 2026-10-06 📅 Criado 2024-01-27
7
iawia002/lux

👾 Biblioteca e ferramenta CLI rápida e simples para download de vídeos, escrita em Go

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 Atualizado 2026-03-29 📅 Criado 2018-02-24
8
apify/crawlee

Crawlee—Uma biblioteca de raspagem da web e automação de navegador para Node.js para construir crawlers confiáveis. Em JavaScript e TypeScript. Extraia dados para IA, LLMs, RAG ou GPTs. Baixe arquivos HTML, PDF, JPG, PNG e outros de websites. Funciona com Puppeteer, Playwright, Cheerio, JSDOM e HTTP puro. Em modo com e sem interface gráfica (headful e headless). Com rotação de proxy.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-08-26
9
gocolly/colly

Framework elegante de raspagem e rastreamento para Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Atualizado 2026-10-16 📅 Criado 2017-09-29
10
jhao104/proxy_pool

Python ProxyPool para spider web

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 Atualizado 2026-06-15 📅 Criado 2016-11-25
11
Evil0ctal/Douyin_TikTok_Download_API

🚀 API auto-hospedada para coletar dados do Douyin, TikTok e Bilibili e baixar vídeos sem marca-d'água. Compatível com chamadas de agentes de IA via MCP e transcrição de fala offline. Implantação Docker com um clique. | Extrator auto-hospedado para TikTok, Douyin e Bilibili e baixador de vídeos sem marca-d'água — API REST assíncrona, servidor MCP para agentes de IA, CLI e console web, além de transcrição de fala offline para os vídeos baixados. Pool de identidades autorreparável, arquivo PostgreSQL e inicialização com um único `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Atualizado 2026-11-20 📅 Criado 2021-11-07
12
getmaxun/maxun

Transforme qualquer site em uma API estruturada. Extraia, automatize, pesquise e monitore a web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-10-23
13
projectdiscovery/katana

Um framework de rastreamento e spidering de próxima geração.

projectdiscovery
⭐ 17,878 Go 👤 projectdiscovery Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-01-02
14
codelucas/newspaper

newspaper3k é uma ferramenta de extração de notícias, texto completo e metadados de artigos em Python 3. Docs avançados:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Atualizado 2026-10-26 📅 Criado 2013-11-25
15
shengqiangzhang/examples-of-web-crawlers

Alguns exemplos muito interessantes de web scraping com Python, amigáveis para iniciantes, focando principalmente em sites como Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, etc. (Alguns exemplos interessantes de web crawlers Python que são amigáveis para iniciantes.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 Atualizado 2025-06-28 📅 Criado 2019-03-13
16
s0md3v/Photon

Rastreador incrivelmente rápido projetado para OSINT.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 Atualizado 2026-10-17 📅 Criado 2018-03-30
17
crawlab-team/crawlab

Plataforma de administração de web crawler distribuído para gerenciamento de spiders, independentemente de linguagens e frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Atualizado 2026-02-10 📅 Criado 2019-02-10
18
code4craft/webmagic

Uma estrutura de crawler web escalável para Java.

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 Atualizado 2025-12-20 📅 Criado 2013-04-23
19
injetlee/Python

Script Python. Simular login no Zhihu, rastreamento web, manipular Excel, conta pública do WeChat, ligar remotamente.

injetlee
⭐ 10,920 Python 👤 injetlee User 🕐 Atualizado 2026-05-09 📅 Criado 2016-06-23
20
guyueyingmu/avbook

Sistema de Gerenciamento de Filmes AV, crawlers para avmoo, javbus, javlibrary, biblioteca online de vídeos AV, banco de dados de links magnéticos AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Atualizado 2024-06-01 📅 Criado 2017-02-19
21
apify/crawlee-python

Crawlee — uma biblioteca Python de web scraping e automação de navegador para criar crawlers confiáveis. Extraia dados estruturados com LLMs por meio do Pydantic AI ou controle o navegador em linguagem natural com o Stagehand. Compatível com BeautifulSoup, Parsel, Playwright e HTTP bruto. Baixe HTML, PDF, imagens e outros arquivos. A rotação de proxies está incluída.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-01-10
22
TeamWiseFlow/xiaobei

Agente de aquisição de clientes em redes sociais feito sob medida para OPCs e PMEs

TeamWiseFlow
⭐ 8,743 Python 👤 TeamWiseFlow Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-04-24
23
lorien/awesome-web-scraping

Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Atualizado 2026-11-21 📅 Criado 2015-08-12
24
hect0x7/JMComic-Crawler-Python

API Python para JMComic | Fornece acesso à API Python para Jinman Tiantang, suportando ambos os aplicativos web e móveis | Baixador do GitHub Actions do Jinman Tiantang🚀

hect0x7
⭐ 8,148 Python 👤 hect0x7 User 🕐 Atualizado 2026-11-13 📅 Criado 2023-04-02
25
alirezamika/autoscraper

Um Extrator de dados da web Inteligente, Automático, Rápido e Leve para Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Atualizado 2026-07-29 📅 Criado 2020-08-31
26
mvdctop/Movie_Data_Capture

O rastreador de metadados de mídia local com IA

mvdctop
⭐ 7,449 Python 👤 mvdctop User 🕐 Atualizado 2026-11-17 📅 Criado 2019-05-26
27
adbar/trafilatura

Ferramenta Python e de linha de comando para coletar texto e metadados da Web: Rastreamento, raspagem, extração, com saída em CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Atualizado 2026-11-20 📅 Criado 2019-04-08
28
BruceDone/awesome-crawler

Uma coleção de awesome web crawler, spider em diferentes linguagens

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Atualizado 2024-06-16 📅 Criado 2016-10-10
29
bda-research/node-crawler

Web Crawler/Spider para NodeJS + jQuery do lado do servidor ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 Atualizado 2026-06-18 📅 Criado 2010-11-25
30
chyroc/WechatSogou

Interface de crawler de contas públicas do WeChat baseada na pesquisa WeChat do Sogou

chyroc
⭐ 6,411 Python 👤 chyroc User 🕐 Atualizado 2026-10-23 📅 Criado 2016-05-09
31
rmax/scrapy-redis

Componentes baseados em Redis para Scrapy.

rmax
⭐ 5,648 Python 👤 rmax User 🕐 Atualizado 2026-11-21 📅 Criado 2011-08-29
32
DropsDevopsOrg/ECommerceCrawlers

Serpentes 🐍 de prática para vários sites, raspagem de dados de comércio eletrônico 🕷. Inclui 🕸: produtos Taobao, contas públicas WeChat, Dianping, Qichacha, sites de recrutamento, Xianyu, tarefas Ali, CSDN, Weibo, Baidu Tieba, filmes do Douban, Baotu.com, Quan Jing Net, música do Douban, Bureau de Supervisão de Medicamentos de uma província, notícias Sohu, coleta de texto de aprendizado de máquina, coleta de ativos fofa, Autohome, Bureau Nacional de Estatísticas, número de inclusão de palavras-chave do Baidu, diretório genérico de aranhas, Toutiao, críticas de filmes do Douban, Ctrip, loja de aplicativos Xiaomi, Anjuke, aluguel de temporada Tujia ❤️❤️❤️. Projeto de demonstração de raspagem do WeChat:

DropsDevopsOrg
⭐ 5,355 Python 👤 DropsDevopsOrg Organization 🕐 Atualizado 2024-05-22 📅 Criado 2019-03-29
33
DedSecInside/TorBot

Ferramenta OSINT da Dark Web

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 Atualizado 2026-11-12 📅 Criado 2017-05-17
34
niespodd/browser-fingerprinting

Análise dos sistemas de Proteção de Bots com contramedidas disponíveis 🚿. Como derrotar o sistema anti-bot 👻 e contornar scripts de impressão digital de navegador 🕵️‍♂️ ao fazer web scraping?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 Atualizado 2026-07-27 📅 Criado 2021-01-23
35
hiddendevj/Crawler_Illegal_Cases_In_China

Este projeto tem como objetivo reunir todas as notícias, documentos e regulamentos legais relacionados a processos judiciais e violações envolvendo desenvolvedores de web crawlers na China continental. Busca ajudar profissionais do setor de web crawler que trabalham na China continental a entender as leis relevantes e a evitar ultrapassar os limites de conformidade de dados.

hiddendevj
⭐ 4,759 HTML 👤 hiddendevj User 🕐 Atualizado 2026-03-12 📅 Criado 2019-09-29
36
dataabc/weibo-crawler

Crawler do Sina Weibo, que utiliza Python para extrair dados do Sina Weibo e baixar imagens e vídeos do Weibo.

dataabc
⭐ 4,705 Python 👤 dataabc User 🕐 Atualizado 2026-11-06 📅 Criado 2019-06-25
37
myreader-io/myGPTReader

Uma maneira impulsionada pela comunidade de ler e conversar com bots de IA - com tecnologia chatGPT.

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 Atualizado 2026-02-05 📅 Criado 2023-03-08
38
kanasimi/work_crawler

Ferramenta de download de romances e quadrinhos/mangás (Download comics novels 小说漫画下载工具 小説漫画のダウンローダ 小說漫畫下載): 腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.

kanasimi
⭐ 4,391 JavaScript 👤 kanasimi User 🕐 Atualizado 2026-10-12 📅 Criado 2016-11-02
39
dotnetcore/DotnetSpider

DotnetSpider, uma biblioteca de web crawling padrão .NET. É uma estrutura de web crawling e scraping de alto nível, leve, eficiente e rápida

dotnetcore
⭐ 4,142 C# 👤 dotnetcore Organization 🕐 Atualizado 2026-04-03 📅 Criado 2016-03-21
40
constverum/ProxyBroker

Proxy [Localizador | Verificador | Servidor]. HTTP(S) & SOCKS :performing_arts:

constverum
⭐ 4,084 Python 👤 constverum User 🕐 Atualizado 2024-03-18 📅 Criado 2015-10-11
41
MikeChongCan/scylla

Pool de proxy inteligente para Humanos™ extrair conteúdo da internet e construir seus próprios Grandes Modelos de Linguagem nesta nova era da IA

MikeChongCan
⭐ 4,021 Python 👤 MikeChongCan User 🕐 Atualizado 2026-11-03 📅 Criado 2018-04-10
42
Arachni/arachni

Framework de Scanner de Segurança de Aplicações Web

Arachni
⭐ 4,020 Ruby 👤 Arachni Organization 🕐 Atualizado 2026-04-22 📅 Criado 2010-08-25
43
hardkoded/puppeteer-sharp

API .NET para Headless Chrome

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Atualizado 2026-11-21 📅 Criado 2017-09-30
44
edoardottt/cariddi

Obtenha uma lista de domínios, rastreie URLs e escaneie em busca de endpoints, segredos, chaves de API, extensões de arquivo, tokens e muito mais

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Atualizado 2026-11-19 📅 Criado 2021-04-27
45
3441293738/creatorhub

Monitoramento · coleta · republicação de conteúdo em várias plataformas. Um único painel web para gerenciar Douyin / Xiaohongshu / Kuaishou / Canais do WeChat / TikTok / Bilibili / Instagram / Xiaohongshu internacional (rednote)

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 Atualizado 2026-11-21 📅 Criado 2026-07-03
46
Boris-code/feapder

🚀🚀🚀feapder é um framework de crawling poderoso e fácil de usar | feapder é um framework de爬虫 (crawler) Python poderoso e simples de começar. Ele incorpora quatro tipos de crawlers: AirSpider, Spider, TaskSpider e BatchSpider para atender a diferentes cenários de necessidades. Ele também oferece suporte a retomada de crawling interrompido, monitoramento e alerta, renderização de navegador, desduplicação de grandes volumes de dados e outras funcionalidades. Além disso, o poderoso sistema de gerenciamento de crawlers feaplat oferece implantação e agendamento convenientes.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Atualizado 2026-08-21 📅 Criado 2021-02-08
47
sqzw-x/mdcx

Raspador de metadados de filmes

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 Atualizado 2026-08-23 📅 Criado 2023-11-06
48
elliotgao2/toapi

Cada site fornece APIs.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 Atualizado 2026-08-27 📅 Criado 2017-11-27
49
Tuhinshubhra/RED_HAWK

Ferramenta completa (tudo-em-um) para Coleta de Informações, Escaneamento de Vulnerabilidades e Crawling. Uma ferramenta indispensável para todos os testadores de penetração.

Tuhinshubhra
⭐ 3,491 PHP 👤 Tuhinshubhra User 🕐 Atualizado 2024-07-31 📅 Criado 2017-06-11
50
CharlesPikachu/videodl

Videodl: Um downloader de vídeos leve escrito em puro Python. (Um downloader de vídeos leve que prioriza alta definição sem marca d'água e suporta plataformas como Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED e outras vastas plataformas de streaming.)

CharlesPikachu
⭐ 3,294 Python 👤 CharlesPikachu User 🕐 Atualizado 2026-11-21 📅 Criado 2018-07-10

Perguntas Frequentes

1

Qual é o repositório de #crawler mais popular no GitHub?

O projeto de código aberto de #crawler mais bem classificado no GitHub é firecrawl/firecrawl, com 205,758 estrelas. Infraestrutura de conhecimento para tornar seus agentes mais inteligentes. Pesquise, extraia e acesse dados de mais de 550 provedores por meio de uma única API.

2

Quais linguagens de programação são mais usadas nos repositórios de #crawler?

Entre os projetos de #crawler mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, TypeScript, JavaScript.

3

Como é calculada a classificação dos repositórios de #crawler?

Acompanhamos 162 repositórios ativos de código aberto marcados com #crawler (com mais de 500 estrelas), totalizando 1,111,814 estrelas e uma média de 6,863 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.