Git Stars Git Stars

#spider 仓库

探索 92 个标记为 #spider 的活跃开源 GitHub 仓库,它们累计获得 325,814 个 Star(平均每个项目 3,541 个)。该主题的领先项目是 NaiboWang/EasySpider,拥有 44,801 个 Star。

92
仓库总数
325,814
总星标数
3,541
平均每个仓库星标数
1
NaiboWang/EasySpider

易采集:一个可视化浏览器自动化测试/数据采集/网页爬虫软件,可以无代码图形化的设计和执行爬虫任务。别名:ServiceWrapper面向Web应用的智能化服务封装系统。

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 已更新 2026-11-16 📅 创建时间 2020-07-18
2
gocolly/colly

优雅的Golang爬虫与抓取框架

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 已更新 2026-10-16 📅 创建时间 2017-09-29
3
jhao104/proxy_pool

Python ProxyPool 用于网络爬虫

jhao104
⭐ 23,798 Python 👤 jhao104 User 🕐 已更新 2026-06-15 📅 创建时间 2016-11-25
4
shengqiangzhang/examples-of-web-crawlers

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、微信读书、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners.)

shengqiangzhang
⭐ 14,654 HTML 👤 shengqiangzhang User 🕐 已更新 2025-06-28 📅 创建时间 2019-03-13
5
s0md3v/Photon

专为OSINT设计的超快爬虫。

s0md3v
⭐ 13,377 Python 👤 s0md3v User 🕐 已更新 2026-10-17 📅 创建时间 2018-03-30
6
crawlab-team/crawlab

分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 已更新 2026-02-10 📅 创建时间 2019-02-10
7
ihmily/DouyinLiveRecorder

可循环值守和多人录制的直播录制软件,支持抖音、TikTok、Youtube、快手、虎牙、斗鱼、B站、小红书、pandatv、sooplive、flextv、popkontv、twitcasting、winktv、百度、微博、酷狗、17Live、Twitch、Acfun、CHZZK、shopee等40+平台直播录制

ihmily
⭐ 11,278 Python 👤 ihmily User 🕐 已更新 2026-04-01 📅 创建时间 2023-07-17
8
guyueyingmu/avbook

AV 电影管理系统, avmoo , javbus , javlibrary 爬虫,线上 AV 影片图书馆,AV 磁力链接数据库,Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 已更新 2024-06-01 📅 创建时间 2017-02-19
9
kangvcar/InfoSpider

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰,旨在安全快捷的帮助用户拿回自己的数据,工具代码开源,流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

kangvcar
⭐ 8,275 Python 👤 kangvcar User 🕐 已更新 2026-04-21 📅 创建时间 2020-07-11
10
lorien/awesome-web-scraping

用于网络抓取和数据处理的库、工具和 API 列表。

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 已更新 2026-11-21 📅 创建时间 2015-08-12
11
andeya/pholcus

Pholcus 是一款纯 golang 编写的分布式高并发爬虫软件

andeya
⭐ 7,583 Go 👤 andeya User 🕐 已更新 2026-08-24 📅 创建时间 2015-07-03
12
BruceDone/awesome-crawler

各种语言中优秀的网络爬虫和蜘蛛的合集

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 已更新 2024-06-16 📅 创建时间 2016-10-10
13
bda-research/node-crawler

NodeJS 的 Web 爬虫/蜘蛛 + 服务器端 jQuery ;-)

bda-research
⭐ 6,797 TypeScript 👤 bda-research Organization 🕐 已更新 2026-06-18 📅 创建时间 2010-11-25
14
wechatsync/Wechatsync

一键同步文章到多个内容平台,支持今日头条、WordPress、知乎、简书、掘金、CSDN、typecho各大平台,一次发布,多平台同步发布。解放个人生产力

wechatsync
⭐ 6,663 TypeScript 👤 wechatsync Organization 🕐 已更新 2026-11-15 📅 创建时间 2020-09-01
15
DedSecInside/TorBot

暗网 OSINT 工具

DedSecInside
⭐ 5,220 Python 👤 DedSecInside Organization 🕐 已更新 2026-11-12 📅 创建时间 2017-05-17
16
201206030/novel-plus

novel-plus 是一个支持多端(PC、WAP、APP、小程序)、功能完善的小说 CMS 系统。包括小说推荐、小说检索、小说排行、小说阅读、小说书架、小说书评、小说书单、小说爬虫、会员中心、作家专区、充值订阅、新闻发布等功能。

201206030
⭐ 4,822 Java 👤 201206030 User 🕐 已更新 2026-11-17 📅 创建时间 2020-05-02
17
Nemo2011/bilibili-api

哔哩哔哩常用API调用。支持视频、番剧、用户、频道、音频等功能。原仓库地址:https://github.com/MoyuScript/bilibili-api

Nemo2011
⭐ 4,197 Python 👤 Nemo2011 User 🕐 已更新 2026-07-03 📅 创建时间 2022-04-27
18
Boris-code/feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度

Boris-code
⭐ 3,732 Python 👤 Boris-code User 🕐 已更新 2026-08-21 📅 创建时间 2021-02-08
19
elliotgao2/toapi

每个网站都提供 API。

elliotgao2
⭐ 3,557 Python 👤 elliotgao2 User 🕐 已更新 2026-08-27 📅 创建时间 2017-11-27
20
Gerapy/Gerapy

基于 Scrapy、Scrapyd、Django 和 Vue.js 的分布式爬虫管理框架

Gerapy
⭐ 3,518 Python 👤 Gerapy Organization 🕐 已更新 2026-07-04 📅 创建时间 2017-06-30
21
my8100/scrapydweb

用于 Scrapyd 集群管理、Scrapy 日志分析与可视化、自动打包、定时任务、监控与告警以及移动 UI 的 Web 应用。文档 Docs :point_right:

my8100
⭐ 3,403 Python 👤 my8100 User 🕐 已更新 2025-02-19 📅 创建时间 2018-09-30
22
wnma3mz/wechat_articles_spider

微信公众号文章的爬虫

wnma3mz
⭐ 3,326 Python 👤 wnma3mz User 🕐 已更新 2024-04-18 📅 创建时间 2018-03-04
23
5ime/video_spider

短视频去水印:抖音,皮皮虾,火山,微视,微博,绿洲,最右,轻视频,快手,全民小视频,巴塞电影,陌陌,Before避风,开眼,Vue Vlog 小咖秀,皮皮搞笑,全民K歌,西瓜视频,逗拍,虎牙,6间房,梨视频,新片场,acfun,美拍...

5ime
⭐ 3,001 PHP 👤 5ime User 🕐 已更新 2025-12-03 📅 创建时间 2020-07-22
24
howie6879/owllook

owllook-小说搜索引擎

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 已更新 2026-10-30 📅 创建时间 2017-02-18
25
CharlesPikachu/DecryptLogin

DecryptLogin: 使用 requests 登录某些网站的 API。

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 已更新 2024-08-09 📅 创建时间 2019-02-25
26
spider-rs/spider

使用 Rust 实现基础低延迟网页数据采集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-01-07
27
jaeles-project/gospider

Gospider - 用 Go 编写的快速网络爬虫

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 已更新 2024-04-21 📅 创建时间 2020-01-22
28
geziyor/geziyor

Geziyor,Go 的超高速网络爬虫和抓取框架。支持 JS 渲染。

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 已更新 2026-07-02 📅 创建时间 2019-06-06
29
pibigstar/go-demo

Go语言实例教程从入门到进阶,包括基础库使用、设计模式、面试易错点、工具类、对接第三方等

pibigstar
⭐ 2,708 Go 👤 pibigstar User 🕐 已更新 2025-06-07 📅 创建时间 2018-08-29
30
jae-jae/QueryList

:spider: 优雅的渐进式PHP采集框架!

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 已更新 2026-10-20 📅 创建时间 2015-12-20
31
lorien/grab

Web 抓取框架

lorien
⭐ 2,461 Python 👤 lorien User 🕐 已更新 2025-09-19 📅 创建时间 2013-05-01
32
JayBizzle/Crawler-Detect

🕷 CrawlerDetect 是一个用于通过用户代理检测机器人/爬虫/蜘蛛的 PHP 类

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 已更新 2026-11-16 📅 创建时间 2015-03-23
33
QianyanTech/Image-Downloader

从谷歌、必应、百度下载图片。谷歌、百度、必应图片下载。

QianyanTech
⭐ 2,331 Python 👤 QianyanTech Organization 🕐 已更新 2024-07-07 📅 创建时间 2016-07-17
34
sjdirect/abot

为速度和灵活性而构建的跨平台 C# Web 爬虫框架。请给这个项目加星!+1。

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 已更新 2026-07-17 📅 创建时间 2013-08-08
35
zorlan/skycaiji

蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬虫系统

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 已更新 2026-10-07 📅 创建时间 2018-02-26
36
elliotgao2/gain

基于 asyncio 的网络爬虫框架。

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 已更新 2026-08-09 📅 创建时间 2017-05-31
37
ShunCai/QZoneExport

QQ空间导出助手,用于将QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享和最近访客备份为文件,便于迁移与保存。

ShunCai
⭐ 1,927 TypeScript 👤 ShunCai User 🕐 已更新 2026-11-16 📅 创建时间 2019-03-10
38
coder-hxl/x-crawl

灵活的 Node.js 爬虫库

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 已更新 2026-11-21 📅 创建时间 2023-01-22
39
1N3/BlackWidow

一个基于 Python 的 Web 应用程序扫描器,用于收集 OSINT 并对目标网站上的 OWASP 漏洞进行模糊测试。

1N3
⭐ 1,843 Python 👤 1N3 User 🕐 已更新 2026-04-17 📅 创建时间 2018-01-06
40
eatmoreduck/boss-zhipin-scraper

Boss直聘爬虫 / BOSS直聘职位数据抓取工具,基于 Chrome CDP 协议复用真实登录态,绕过字体反爬,输出明文薪资 JSON/CSV + 薪资技能分析。

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 已更新 2026-11-03 📅 创建时间 2026-06-11
41
u3c3/BT-btt

磁力網站U3C3介紹以及域名更新

u3c3
⭐ 1,779 👤 u3c3 User 🕐 已更新 2025-01-01 📅 创建时间 2020-04-28
42
howie6879/ruia

基于 asyncio 的异步 Python 3.6+ 网页抓取微框架

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 已更新 2026-10-30 📅 创建时间 2018-07-10
43
erma0/douyin

抖音爬虫——采集账号主页、喜欢、收藏、音乐原声、话题、搜索、合集、作品、关注、粉丝等公开数据。

erma0
⭐ 1,625 👤 erma0 User 🕐 已更新 2026-08-14 📅 创建时间 2022-05-29
44
ArchiveTeam/grab-site

档案管理员的爬虫:WARC 输出,所有爬取内容的仪表板,动态忽略模式

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 已更新 2025-05-23 📅 创建时间 2015-02-05
45
srx-2000/spider_collection

python爬虫,目前库存:网易云音乐歌曲爬取,B站视频爬取,知乎问答爬取,壁纸爬取,xvideos视频爬取,有声书爬取,微博爬虫,安居客信息爬取+数据可视化,哔哩哔哩视频封面提取器,ip代理池封装,知乎百万级用户爬虫+数据分析,github用户爬虫

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 已更新 2024-04-23 📅 创建时间 2020-02-04
46
darbra/sperm

浏览过的精彩逆向文章汇总,值得一看

darbra
⭐ 1,427 👤 darbra User 🕐 已更新 2026-04-13 📅 创建时间 2022-03-02
47
okfn-brasil/querido-diario

📰 巴西官方公报人人可及 | 📰 巴西政府公报,可供所有人访问。

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 已更新 2026-10-12 📅 创建时间 2018-04-01
48
kgspider/crawler

K 哥爬虫代码分享,JS 逆向,爬虫进阶。关注公众号:K哥爬虫

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 已更新 2025-05-12 📅 创建时间 2021-08-24
49
0xInfection/XSRFProbe

Prime 跨站请求伪造 (CSRF) 审计和利用工具包。

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 已更新 2026-07-12 📅 创建时间 2018-08-21
50
bookstairs/bookhunter

用于从互联网抓取电子书的下载工具。

bookstairs
⭐ 1,305 Go 👤 bookstairs Organization 🕐 已更新 2026-02-28 📅 创建时间 2022-04-08

常见问题解答

1

GitHub 上最受欢迎的 #spider 仓库是什么?

GitHub 上排名第一的开源 #spider 项目是 NaiboWang/EasySpider,拥有 44,801 个 Star。易采集:一个可视化浏览器自动化测试/数据采集/网页爬虫软件,可以无代码图形化的设计和执行爬虫任务。别名:ServiceWrapper面向Web应用的智能化服务封装系统。

2

#spider 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #spider 项目中,最常见的编程语言是 Python, Go, PHP, TypeScript。

3

#spider 仓库的排名是如何计算的?

我们跟踪了 92 个标记为 #spider 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 325,814 个 Star,平均每个仓库拥有 3,541 个 Star。排名每日根据 GitHub API 更新。