Git Stars Git Stars

#spider 仓库

92
仓库总数
325,814
总星标数
3,541
平均每个仓库星标数
51
kiddyuchina/Beanbun

Beanbun 是用 PHP 编写的多进程网络爬虫框架,具有良好的开放性、高可扩展性,基于 Workerman。

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 已更新 2026-05-26 📅 创建时间 2017-04-13
52
scrapfly/scrapfly-scrapers

适用于 80 多个热门网站的可扩展 Python 网页抓取脚本

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-22
53
BaiduSpider/BaiduSpider

BaiduSpider,一个爬取百度搜索结果的爬虫,目前支持百度网页搜索,百度图片搜索,百度知道搜索,百度视频搜索,百度资讯搜索,百度文库搜索,百度经验搜索和百度百科搜索。

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 已更新 2024-06-14 📅 创建时间 2020-10-03
54
elixir-crawly/crawly

Crawly,Elixir 的高级 Web 爬虫和抓取框架。

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-03-09
55
skygazer42/DL-Hub

LLMs 大模型 笔记50篇 此仓库包含关于机器学习、深度学习、计算机视觉、自然语言处理、大模型 爬虫等领域 项目实战

skygazer42
⭐ 1,121 Python 👤 skygazer42 User 🕐 已更新 2026-08-30 📅 创建时间 2022-04-05
56
wujunwei928/parse-video

Golang短视频去水印:抖音,皮皮虾,火山,微视,最右,快手,全民小视频,皮皮搞笑,西瓜视频,虎牙,梨视频,acfun,好看视频...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 已更新 2026-11-08 📅 创建时间 2022-07-12
57
zhangyd-c/OneBlog

:alien: OneBlog,一个简洁美观、功能强大并且自适应的Java博客

zhangyd-c
⭐ 1,103 Java 👤 zhangyd-c User 🕐 已更新 2025-03-16 📅 创建时间 2018-04-10
58
1061700625/WeChat_Article

爬取微信公众号文章

1061700625
⭐ 1,089 Python 👤 1061700625 User 🕐 已更新 2026-06-17 📅 创建时间 2019-02-21
59
gsh199449/spider

一个可配置的网络爬虫,配有易于使用的网页控制台

gsh199449
⭐ 996 Java 👤 gsh199449 User 🕐 已更新 2026-06-03 📅 创建时间 2016-11-24
60
spidersuite/SpiderSuite

SpiderSuite(网络安全爬虫)发布、维基和路线图

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 已更新 2026-08-13 📅 创建时间 2023-04-05
61
QIN2DIM/V2RSS

:rocket: 采集|免费|优质|的-订?阅<;

QIN2DIM
⭐ 978 Python 👤 QIN2DIM User 🕐 已更新 2026-11-17 📅 创建时间 2020-06-02
62
LoseNine/Crack-JS-Spider

JS破解逆向,破解JS反爬虫加密参数,已破解极验滑块w(2022.2.19),QQ音乐sign(2022.2.13),拼多多anti_content,boss直聘zp_token,知乎x-zse-96,酷狗kg_mid/dfid,唯品会mars_cid,中国裁判文书网(2020-06-30更新),淘宝密码,天安保险登录,b站登录,房天下登录,WPS登录,微博登录,有道翻译,网易登录,微信公众号登录,空中网登录,今目标登录,学生信息管理系统登录,共赢金融登录,重庆科技资源共享平台登录,网易云音乐下载,一键解析视频链接,财联社登录。

LoseNine
⭐ 974 JavaScript 👤 LoseNine User 🕐 已更新 2024-05-03 📅 创建时间 2020-02-09
63
fredwu/crawler

Elixir 实现的高性能 Web 爬虫/抓取器。

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 已更新 2026-11-21 📅 创建时间 2016-08-08
64
ma6254/FictionDown

小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 已更新 2025-01-21 📅 创建时间 2019-03-03
65
0xAllenChen/spider_reverse

爬虫逆向案例,已完成:TLS指纹|瑞数|震坤行 | 网易易盾 | 微信小程序反编译逆向(百达星系) | 同花顺 | rpc解密 | 加速乐 | 极验滑块验证码 | 巨量算数 | Boss直聘 | 企查查 | 中国五矿 | qq音乐 | 产业政策大数据平台 | 企知道 | 雪球网(acw_sc__v2) | 1688 | 七麦数据 | whggzy | 企名科技 | mohurd | 艺恩数据 | 欧科云链

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 已更新 2026-11-17 📅 创建时间 2023-06-02
66
hellock/icrawler

一个提供许多内置图像爬虫的多线程爬虫框架。

hellock
⭐ 936 Python 👤 hellock User 🕐 已更新 2025-12-10 📅 创建时间 2016-03-19
67
alltheplaces/alltheplaces

一组网络爬虫和抓取器,用于从在互联网上发布位置的地点提取位置信息。

alltheplaces
⭐ 851 Python 👤 alltheplaces Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-06-15
68
BlessedRebuS/Krawl

Krawl 是一个可定制的、轻量级的、云原生的网络欺骗服务器和反爬虫工具,它使用真实、随机生成的诱饵数据和 AI 生成的 HTML 模板创建具有低门槛漏洞的虚假 Web 应用程序。

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 已更新 2026-11-20 📅 创建时间 2025-12-10
69
kingschan1204/istock

:point_right:一个基于spring boot 实现的java股票爬虫(仅支持A股),如果你:heart:请:star: . V2升级版正在开发中!

kingschan1204
⭐ 836 Java 👤 kingschan1204 User 🕐 已更新 2024-12-27 📅 创建时间 2017-03-09
70
postmodern/spidr

一个多功能的 Ruby Web 爬虫库,可以爬取一个站点、多个域、特定链接或无限期。Spidr 设计为快速且易用。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 已更新 2026-01-12 📅 创建时间 2009-03-08
71
DoiiarX/NLCISBNPlugin

基于中国国家图书馆ISBN检索的calibre的source/metadata插件。https://doiiars.com/article/NLCISBNPlugin

DoiiarX
⭐ 812 Python 👤 DoiiarX User 🕐 已更新 2026-01-07 📅 创建时间 2023-12-14
72
bahaabdelwahed/killshot

一个渗透测试框架、信息收集工具和网站漏洞扫描器

bahaabdelwahed
⭐ 791 Ruby 👤 bahaabdelwahed User 🕐 已更新 2025-12-07 📅 创建时间 2018-10-27
73
montaro2017/bili_novel_packer

轻小说打包器,采集哔哩轻小说网站(bilinovel.com linovelib.com)内容,打包成EPUB格式,支持封面、插图、目录,支持分卷合并。

montaro2017
⭐ 787 Dart 👤 montaro2017 User 🕐 已更新 2026-11-13 📅 创建时间 2023-02-20
74
xuxueli/xxl-crawler

轻量级 Web 爬虫框架。(Java 爬虫框架)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 已更新 2026-08-08 📅 创建时间 2017-10-17
75
polyrabbit/hacker-news-digest

📰 让 LLM 为你总结 Hacker News

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 已更新 2026-11-21 📅 创建时间 2014-09-17
76
signal18/replication-manager

Signal 18 repman - MySQL / MariaDB / Percona Server 复制管理器

signal18
⭐ 747 Go 👤 signal18 Organization 🕐 已更新 2026-11-20 📅 创建时间 2015-10-14
77
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn 个人资料抓取器,返回 JSON 格式的结构化个人资料数据。

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 已更新 2024-04-05 📅 创建时间 2018-12-21
78
wujunwei928/parse-video-py

Python短视频去水印爬虫:抖音,皮皮虾,火山,微视,最右,快手,全民小视频,皮皮搞笑,西瓜视频,虎牙,梨视频,acfun,好看视频...

wujunwei928
⭐ 721 Python 👤 wujunwei928 User 🕐 已更新 2026-11-08 📅 创建时间 2024-04-03
79
xinlingqudongX/TSDK

淘宝爬虫SDK,用于淘宝开放平台或淘宝、天猫、阿里巴巴登录爬取

xinlingqudongX
⭐ 716 Python 👤 xinlingqudongX User 🕐 已更新 2026-03-26 📅 创建时间 2018-12-06
80
casual-silva/NewsCrawl

狠心开源企业级舆情新闻爬虫项目:支持任意数量爬虫一键运行、爬虫定时任务、爬虫批量删除;爬虫一键部署;爬虫监控可视化;配置集群爬虫分配策略;👉 现成的docker一键部署文档已为大家踩坑

casual-silva
⭐ 688 Python 👤 casual-silva User 🕐 已更新 2026-05-23 📅 创建时间 2022-07-08
81
darbra/sign

逆向app参数的思路和体验,安卓逆向

darbra
⭐ 667 👤 darbra User 🕐 已更新 2024-06-13 📅 创建时间 2020-05-26
82
spiritLHLS/Hang-up-items

问卷调查项目,云服务器推荐,挂机项目,免费代理,各种脚本收集。欢迎右上角点铃铛及时收取更新信息。(不要fork,低调)

spiritLHLS
⭐ 646 👤 spiritLHLS User 🕐 已更新 2026-11-13 📅 创建时间 2022-04-11
83
fengzhizi715/NetDiscovery

NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 已更新 2026-06-05 📅 创建时间 2017-11-26
84
cv-cat/catbus

一个命令操作小红书、抖音、TikTok、B 站、快手、微博、闲鱼、淘宝、京东、X:统一的命令与 JSON 输出,给人和 AI Agent 用

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 已更新 2026-11-20 📅 创建时间 2026-09-27
85
scrapfly/Antibot-Detector

实时检测反机器人系统、验证码和指纹识别技术。可识别 Cloudflare、Akamai、DataDome、reCAPTCHA、hCaptcha、Shape Security 等,并提供置信度评分和高级捕获工具。

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 已更新 2026-11-17 📅 创建时间 2025-09-03
86
l4rm4nd/LinkedInDumper

用于从 LinkedIn API 转储/抓取/提取公司员工的 Python 3 脚本

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 已更新 2026-08-21 📅 创建时间 2022-10-17
87
mouday/spider-admin-pro

spider-admin-pro 一个集爬虫Scrapy+Scrapyd爬虫项目查看 和 爬虫任务定时调度的可视化管理工具,SpiderAdmin的升级版

mouday
⭐ 614 Python 👤 mouday User 🕐 已更新 2026-06-15 📅 创建时间 2021-01-25
88
jadehh/TVSpider

影视和猫影视爬虫仓库

jadehh
⭐ 604 JavaScript 👤 jadehh User 🕐 已更新 2024-09-18 📅 创建时间 2023-02-16
89
CharlesPikachu/freeproxy

FreeProxy:从互联网收集免费代理。(全球海量高质量免费代理,支持爬取数十个免费代理分享源,支持自定义规则代理筛选,爬虫与数据分析必备,每日更新海量免费代理。)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 已更新 2026-11-21 📅 创建时间 2018-10-29
90
zhuyingda/webster

一个可靠的高级 Node.js 网络爬虫与抓取框架。

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 已更新 2025-03-12 📅 创建时间 2017-11-04
91
dirtyfilthy/freshonions-torscraper

Fresh Onions 是一个开源的 TOR 蜘蛛程序/隐藏服务 onion 爬虫,托管于 zlal32teyptf4tvi.onion

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 已更新 2026-11-19 📅 创建时间 2017-02-15
92
sansan0/bilibili-comment-analyzer

🎯 哔哩哔哩(bilibili)评论区数据可视化分析软件-- up主可用于指导自己的题材选择,明确自己的粉丝群体

sansan0
⭐ 503 Python 👤 sansan0 User 🕐 已更新 2025-06-27 📅 创建时间 2025-06-03