Git Stars Git Stars

#spider Repositórios

Descubra 92 repositórios ativos de código aberto no GitHub marcados com #spider, acumulando um total de 325,814 estrelas (uma média de 3,541 por projeto). O líder deste tópico é NaiboWang/EasySpider, com 44,801 estrelas.

92
Total de Repositórios
325,814
Total de estrelas
3,541
Média de Estrelas/Repositório

92 repositórios no total

1
NaiboWang/EasySpider

Um crawler/spider web visual sem código: um software de automação de navegador, coleta de dados e web scraping que permite projetar e executar tarefas de rastreamento graficamente, sem escrever código. Alias: ServiceWrapper, um sistema inteligente de encapsulamento de serviços para aplicações web.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Atualizado 2026-11-16 📅 Criado 2020-07-18
2
gocolly/colly

Framework elegante de raspagem e rastreamento para Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Atualizado 2026-10-16 📅 Criado 2017-09-29
3
jhao104/proxy_pool

Python ProxyPool para spider web

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 Atualizado 2026-06-15 📅 Criado 2016-11-25
4
shengqiangzhang/examples-of-web-crawlers

Alguns exemplos muito interessantes de web scraping com Python, amigáveis para iniciantes, focando principalmente em sites como Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, etc. (Alguns exemplos interessantes de web crawlers Python que são amigáveis para iniciantes.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 Atualizado 2025-06-28 📅 Criado 2019-03-13
5
s0md3v/Photon

Rastreador incrivelmente rápido projetado para OSINT.

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 Atualizado 2026-10-17 📅 Criado 2018-03-30
6
crawlab-team/crawlab

Plataforma de administração de web crawler distribuído para gerenciamento de spiders, independentemente de linguagens e frameworks. 分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 Atualizado 2026-02-10 📅 Criado 2019-02-10
7
ihmily/DouyinLiveRecorder

Software de gravação de transmissões ao vivo com monitoramento cíclico e gravação múltipla, que suporta a gravação de lives em mais de 40 plataformas, incluindo Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, shopee, etc.

ihmily
⭐ 11,278 Python 👤 ihmily User 🕐 Atualizado 2026-04-01 📅 Criado 2023-07-17
8
guyueyingmu/avbook

Sistema de Gerenciamento de Filmes AV, crawlers para avmoo, javbus, javlibrary, biblioteca online de vídeos AV, banco de dados de links magnéticos AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Atualizado 2024-06-01 📅 Criado 2017-02-19
9
kangvcar/InfoSpider

INFO-SPIDER é uma caixa de ferramentas de web scraping que reúne múltiplas fontes de dados 🧰, projetada para ajudar os usuários a recuperar seus próprios dados de forma segura e rápida. O código da ferramenta é de código aberto e os processos são transparentes. As fontes de dados suportadas incluem GitHub, QQ Mail, NetEase Mail, Alibaba Mail, Sina Mail, Hotmail, Outlook Mail, JD.com, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, NetEase Cloud Music, QQ Friends, QQ Groups, geração de álbuns de Momentos, histórico de navegação do navegador, 12306, CSDN Blog, OSChina Blog, JianShu.

kangvcar
⭐ 8,275 Python 👤 kangvcar User 🕐 Atualizado 2026-04-21 📅 Criado 2020-07-11
10
lorien/awesome-web-scraping

Lista de bibliotecas, ferramentas e APIs para web scraping e processamento de dados.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Atualizado 2026-11-21 📅 Criado 2015-08-12
11
andeya/pholcus

Pholcus é um software de crawler distribuído de alta concorrência escrito em puro golang

andeya
⭐ 7,583 Go 👤 andeya User 🕐 Atualizado 2026-08-24 📅 Criado 2015-07-03
12
BruceDone/awesome-crawler

Uma coleção de awesome web crawler, spider em diferentes linguagens

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Atualizado 2024-06-16 📅 Criado 2016-10-10
13
bda-research/node-crawler

Web Crawler/Spider para NodeJS + jQuery do lado do servidor ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 Atualizado 2026-06-18 📅 Criado 2010-11-25
14
wechatsync/Wechatsync

Sincronize artigos com várias plataformas de conteúdo com um clique, suportando as principais plataformas como Toutiao (Jinri Toutiao), WordPress, Zhihu, Jianshu, Juejin, CSDN e Typecho. Publique uma vez e distribua simultaneamente em múltiplas plataformas. Liberte a produtividade pessoal.

wechatsync
⭐ 6,663 TypeScript 👤 wechatsync Organization 🕐 Atualizado 2026-11-15 📅 Criado 2020-09-01
15
DedSecInside/TorBot

Ferramenta OSINT da Dark Web

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 Atualizado 2026-11-12 📅 Criado 2017-05-17
16
201206030/novel-plus

novel-plus é um CMS de romances repleto de funcionalidades e compatível com várias plataformas (PC, WAP, aplicativo e miniprograma). Inclui recomendações, busca e rankings de romances; leitura, estantes, resenhas e listas de leitura; coleta automática de romances na Web; central de membros e área para escritores; recargas e assinaturas; e publicação de notícias.

201206030
⭐ 4,822 Java 👤 201206030 User 🕐 Atualizado 2026-11-17 📅 Criado 2020-05-02
17
Nemo2011/bilibili-api

Chamadas comuns à API do Bilibili. Suporta funções como vídeos, animes/séries, usuários, canais e áudio. Endereço do repositório original: https://github.com/MoyuScript/bilibili-api

Nemo2011
⭐ 4,197 Python 👤 Nemo2011 User 🕐 Atualizado 2026-07-03 📅 Criado 2022-04-27
18
Boris-code/feapder

🚀🚀🚀feapder é um framework de crawling poderoso e fácil de usar | feapder é um framework de爬虫 (crawler) Python poderoso e simples de começar. Ele incorpora quatro tipos de crawlers: AirSpider, Spider, TaskSpider e BatchSpider para atender a diferentes cenários de necessidades. Ele também oferece suporte a retomada de crawling interrompido, monitoramento e alerta, renderização de navegador, desduplicação de grandes volumes de dados e outras funcionalidades. Além disso, o poderoso sistema de gerenciamento de crawlers feaplat oferece implantação e agendamento convenientes.

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 Atualizado 2026-08-21 📅 Criado 2021-02-08
19
elliotgao2/toapi

Cada site fornece APIs.

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 Atualizado 2026-08-27 📅 Criado 2017-11-27
20
Gerapy/Gerapy

Framework de Gerenciamento de Rastreador Distribuído Baseado em Scrapy, Scrapyd, Django e Vue.js

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 Atualizado 2026-07-04 📅 Criado 2017-06-30
21
my8100/scrapydweb

Aplicativo web para gerenciamento de cluster Scrapyd, análise e visualização de logs Scrapy, empacotamento automático, tarefas de timer, monitoramento e alerta, e interface de usuário móvel. Documentação :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 Atualizado 2025-02-19 📅 Criado 2018-09-30
22
wnma3mz/wechat_articles_spider

Rastreador de artigos do WeChat Official Account

wnma3mz
⭐ 3,326 Python 👤 wnma3mz User 🕐 Atualizado 2024-04-18 📅 Criado 2018-03-04
23
5ime/video_spider

Remoção de marca d'água de vídeos curtos: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qing Shipin, Kuaishou, Quanmin Xiaoshipin, Bace Film, Momo, Before Bifeng, Kaiyan, Vue Vlog Xiaokaxiu, Pipigaoqiao, Quanmin K Ge, Xigua Video, DouPai, Huya, 6 Jiao Fang, Lishipin, New Film Set, AcFun, Meipai...

5ime
⭐ 3,001 PHP 👤 5ime User 🕐 Atualizado 2025-12-03 📅 Criado 2020-07-22
24
howie6879/owllook

owllook - Mecanismo de busca de romances

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 Atualizado 2026-10-30 📅 Criado 2017-02-18
25
CharlesPikachu/DecryptLogin

DecryptLogin: APIs para fazer login em alguns sites usando requests.

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 Atualizado 2024-08-09 📅 Criado 2019-02-25
26
spider-rs/spider

Coleta fundamental de dados da web com baixa latência em Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-01-07
27
jaeles-project/gospider

Gospider - Rastreador web rápido escrito em Go

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 Atualizado 2024-04-21 📅 Criado 2020-01-22
28
geziyor/geziyor

Geziyor, framework de rastreamento e raspagem web ultrarrápido para Go. Suporta renderização JS.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Atualizado 2026-07-02 📅 Criado 2019-06-06
29
pibigstar/go-demo

Tutorial de exemplos de Go, do iniciante ao avançado, incluindo uso de bibliotecas básicas, padrões de projeto, pontos de erro comuns em entrevistas, classes utilitárias, integração com terceiros, etc.

pibigstar
⭐ 2,708 Go 👤 pibigstar User 🕐 Atualizado 2025-06-07 📅 Criado 2018-08-29
30
jae-jae/QueryList

:spider: O framework progressivo de rastreamento PHP! Um elegante framework progressivo de coleta PHP.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Atualizado 2026-10-20 📅 Criado 2015-12-20
31
lorien/grab

Estrutura de Web Scraping

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Atualizado 2025-09-19 📅 Criado 2013-05-01
32
JayBizzle/Crawler-Detect

🕷 CrawlerDetect é uma classe PHP para detectar bots/crawlers/spiders através do user agent

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 Atualizado 2026-11-16 📅 Criado 2015-03-23
33
QianyanTech/Image-Downloader

Baixe imagens do Google, Bing, Baidu. Imagens do Google, Baidu, Bing para download.

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 Atualizado 2024-07-07 📅 Criado 2016-07-17
34
sjdirect/abot

Framework de web crawler C# multiplataforma, desenvolvido para velocidade e flexibilidade. Por favor, favorite este projeto! +1.

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 Atualizado 2026-07-17 📅 Criado 2013-08-08
35
zorlan/skycaiji

O Blue Sky Collector é um sistema de rastreamento de código aberto e gratuito, que permite coletar dados com apenas cliques e edições de regras. Ele pode ser executado localmente, em hospedagem virtual ou em servidores em nuvem, sendo capaz de coletar quase todos os tipos de páginas da web. Ele se integra perfeitamente a vários programas de construção de sites CMS, publica dados em tempo real sem login, e é totalmente automático, sem intervenção humana! É um sistema de rastreamento em nuvem totalmente multiplataforma em softwares de coleta de dados da web em grande escala.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Atualizado 2026-10-07 📅 Criado 2018-02-26
36
elliotgao2/gain

Framework de web crawling baseado em asyncio.

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 Atualizado 2026-08-09 📅 Criado 2017-05-31
37
ShunCai/QZoneExport

Assistente de exportação do QQ Space, usado para fazer backup em arquivos de publicações, diários, diários privados, álbuns, vídeos, murais de mensagens, amigos do QQ, favoritos, conteúdos compartilhados e visitantes recentes do QQ Space, facilitando a migração e a preservação.

ShunCai
⭐ 1,927 TypeScript 👤 ShunCai User 🕐 Atualizado 2026-11-16 📅 Criado 2019-03-10
38
coder-hxl/x-crawl

Biblioteca flexível de rastreamento para Node.js

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 Atualizado 2026-11-21 📅 Criado 2023-01-22
39
1N3/BlackWidow

Um scanner de aplicativos web baseado em Python para coletar OSINT e testar vulnerabilidades OWASP em um site alvo.

1N3
⭐ 1,843 Python 👤 1N3 User 🕐 Atualizado 2026-04-17 📅 Criado 2018-01-06
40
eatmoreduck/boss-zhipin-scraper

Scraper do BOSS Zhipin / Ferramenta de extração de dados de vagas do BOSS Zhipin, baseada no protocolo Chrome CDP para reutilizar sessões de login reais, contornar o anti-scraping de fontes e gerar JSON/CSV de salários em texto simples + análise de habilidades salariais.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Atualizado 2026-11-03 📅 Criado 2026-06-11
41
u3c3/BT-btt

Introdução ao site de links magnéticos U3C3 e atualização de domínio

u3c3
⭐ 1,779 👤 u3c3 User 🕐 Atualizado 2025-01-01 📅 Criado 2020-04-28
42
howie6879/ruia

Microframework assíncrono de web scraping para Python 3.6+ baseado em asyncio

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 Atualizado 2026-10-30 📅 Criado 2018-07-10
43
erma0/douyin

Crawler de Douyin – coleta dados públicos como: perfis de conta, curtidas, favoritos, áudios originais, tópicos, resultados de pesquisa, coleções, publicações, contas seguidas, seguidores, entre outros.

erma0
⭐ 1,625 👤 erma0 User 🕐 Atualizado 2026-08-14 📅 Criado 2022-05-29
44
ArchiveTeam/grab-site

O rastreador web do arquivista: saída WARC, painel para todos os rastreamentos, padrões dinâmicos de ignorar

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 Atualizado 2025-05-23 📅 Criado 2015-02-05
45
srx-2000/spider_collection

Raspador Python, estoque atual: raspagem de músicas do NetEase Cloud Music, raspagem de vídeos do Bilibili, raspagem de perguntas e respostas do Zhihu, raspagem de papéis de parede, raspagem de vídeos xvideos, raspagem de audiolivros, raspador do Weibo, raspagem de informações do Anjuke + visualização de dados, extrator de capas de vídeo do Bilibili, empacotamento de pool de proxies IP, raspador de milhões de usuários do Zhihu + análise de dados, raspador de usuários do GitHub

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 Atualizado 2024-04-23 📅 Criado 2020-02-04
46
darbra/sperm

Compilação de artigos incríveis sobre engenharia reversa que você já viu, vale a pena conferir.

darbra
⭐ 1,427 👤 darbra User 🕐 Atualizado 2026-04-13 📅 Criado 2022-03-02
47
okfn-brasil/querido-diario

📰 Diários oficiais brasileiros acessíveis a todos | 📰 Brazilian government gazettes, accessible to everyone.

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 Atualizado 2026-10-12 📅 Criado 2018-04-01
48
kgspider/crawler

Compartilhamento de código de crawler do Irmão K, engenharia reversa de JS, aprimoramento de crawler. Siga a conta pública: K哥爬虫

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 Atualizado 2025-05-12 📅 Criado 2021-08-24
49
0xInfection/XSRFProbe

O Kit de Ferramentas de Auditoria e Exploração de Cross Site Request Forgery (CSRF) Prime.

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 Atualizado 2026-07-12 📅 Criado 2018-08-21
50
bookstairs/bookhunter

Ferramentas de download para extrair os e-books da internet.

bookstairs
⭐ 1,305 Go 👤 bookstairs Organization 🕐 Atualizado 2026-02-28 📅 Criado 2022-04-08

Perguntas Frequentes

1

Qual é o repositório de #spider mais popular no GitHub?

O projeto de código aberto de #spider mais bem classificado no GitHub é NaiboWang/EasySpider, com 44,801 estrelas. Um crawler/spider web visual sem código: um software de automação de navegador, coleta de dados e web scraping que permite projetar e executar tarefas de rastreamento graficamente, sem escrever código. Alias: ServiceWrapper, um sistema inteligente de encapsulamento de serviços para aplicações web.

2

Quais linguagens de programação são mais usadas nos repositórios de #spider?

Entre os projetos de #spider mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, PHP, TypeScript.

3

Como é calculada a classificação dos repositórios de #spider?

Acompanhamos 92 repositórios ativos de código aberto marcados com #spider (com mais de 500 estrelas), totalizando 325,814 estrelas e uma média de 3,541 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.