Git Stars Git Stars

#crawler 仓库

162
仓库总数
1.1M
总星标数
6,863
平均每个仓库星标数

共 162 个仓库

51
thewhiteh4t/FinalRecon

一体化网页侦察

thewhiteh4t
⭐ 3,058 Python 👤 thewhiteh4t User 🕐 已更新 2026-10-31 📅 创建时间 2019-03-28
52
Qianlitp/crawlergo

用于 Web 漏洞扫描器的强大浏览器爬虫

Qianlitp
⭐ 3,034 Go 👤 Qianlitp User 🕐 已更新 2025-03-11 📅 创建时间 2019-12-25
53
facundoolano/google-play-scraper

从 Google Play 获取数据的 Node.js 爬虫

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 已更新 2026-10-17 📅 创建时间 2015-04-07
54
howie6879/owllook

owllook-小说搜索引擎

howie6879
⭐ 2,900 Python 👤 howie6879 User 🕐 已更新 2026-10-30 📅 创建时间 2017-02-18
55
CharlesPikachu/DecryptLogin

DecryptLogin: 使用 requests 登录某些网站的 API。

CharlesPikachu
⭐ 2,871 Python 👤 CharlesPikachu User 🕐 已更新 2024-08-09 📅 创建时间 2019-02-25
56
spider-rs/spider

使用 Rust 实现基础低延迟网页数据采集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-01-07
57
jaeles-project/gospider

Gospider - 用 Go 编写的快速网络爬虫

jaeles-project
⭐ 2,851 Go 👤 jaeles-project Organization 🕐 已更新 2024-04-21 📅 创建时间 2020-01-22
58
spatie/crawler

https://spatie.be/docs/crawler

spatie
⭐ 2,827 PHP 👤 spatie Organization 🕐 已更新 2026-11-05 📅 创建时间 2015-11-02
59
geziyor/geziyor

Geziyor,Go 的超高速网络爬虫和抓取框架。支持 JS 渲染。

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 已更新 2026-07-02 📅 创建时间 2019-06-06
60
jae-jae/QueryList

:spider: 优雅的渐进式PHP采集框架!

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 已更新 2026-10-20 📅 创建时间 2015-12-20
61
Autumn-27/ScopeSentry

ScopeSentry-网络空间映射、子域枚举、端口扫描、敏感信息发现、漏洞扫描、分布式节点

Autumn-27
⭐ 2,597 Go 👤 Autumn-27 User 🕐 已更新 2026-10-11 📅 创建时间 2024-02-27
62
xtuhcy/gecco

易用的轻量化网络爬虫

xtuhcy
⭐ 2,510 Java 👤 xtuhcy User 🕐 已更新 2026-10-09 📅 创建时间 2015-12-12
63
fhamborg/news-please

news-please - 新闻的集成网络爬虫和信息提取器,只需运行即可

fhamborg
⭐ 2,494 Python 👤 fhamborg User 🕐 已更新 2026-04-14 📅 创建时间 2016-12-18
64
lorien/grab

Web 抓取框架

lorien
⭐ 2,461 Python 👤 lorien User 🕐 已更新 2025-09-19 📅 创建时间 2013-05-01
65
JayBizzle/Crawler-Detect

🕷 CrawlerDetect 是一个用于通过用户代理检测机器人/爬虫/蜘蛛的 PHP 类

JayBizzle
⭐ 2,410 PHP 👤 JayBizzle User 🕐 已更新 2026-11-16 📅 创建时间 2015-03-23
66
friuns2/Leaked-GPTs

泄露的 GPTs 提示可绕过 25 条消息限制,或在没有 Plus 订阅的情况下试用 GPTs。

friuns2
⭐ 2,396 Python 👤 friuns2 User 🕐 已更新 2024-01-17 📅 创建时间 2023-11-27
67
sjdirect/abot

为速度和灵活性而构建的跨平台 C# Web 爬虫框架。请给这个项目加星!+1。

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 已更新 2026-07-17 📅 创建时间 2013-08-08
68
goclone-dev/goclone

Website Cloner - 利用强大的 Go 例程在几秒钟内将网站克隆到您的计算机上。

goclone-dev
⭐ 2,303 Go 👤 goclone-dev Organization 🕐 已更新 2026-06-02 📅 创建时间 2020-03-23
69
AAndyProgram/SCrawler

任何网站的媒体下载器,包括 Twitter、Reddit、Instagram、BlueSky、TikTok、Threads、Facebook、OnlyFans、YouTube、Pinterest、PornHub、XHamster、XVIDEOS、ThisVid 等。

AAndyProgram
⭐ 2,263 Visual Basic .NET 👤 AAndyProgram User 🕐 已更新 2026-11-08 📅 创建时间 2021-12-07
70
watercrawl/WaterCrawl

将网页内容转换为LLM就绪数据

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 已更新 2026-08-17 📅 创建时间 2024-12-15
71
zorlan/skycaiji

蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬虫系统

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 已更新 2026-10-07 📅 创建时间 2018-02-26
72
TeamNewPipe/NewPipeExtractor

NewPipe 用于从流媒体网站提取数据的核心库

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 已更新 2026-11-19 📅 创建时间 2017-03-01
73
elliotgao2/gain

基于 asyncio 的网络爬虫框架。

elliotgao2
⭐ 2,017 Python 👤 elliotgao2 User 🕐 已更新 2026-08-09 📅 创建时间 2017-05-31
74
coder-hxl/x-crawl

灵活的 Node.js 爬虫库

coder-hxl
⭐ 1,888 TypeScript 👤 coder-hxl User 🕐 已更新 2026-11-21 📅 创建时间 2023-01-22
75
JSREI/ast-hook-for-js-RE

浏览器内存漫游解决方案(探索中...)

JSREI
⭐ 1,882 JavaScript 👤 JSREI Organization 🕐 已更新 2024-05-07 📅 创建时间 2021-01-15
76
lixi5338619/lxSpider

爬虫案例合集。包括但不限于《淘宝、京东、天猫、豆瓣、抖音、快手、微博、微信、阿里、头条、pdd、优酷、爱奇艺、携程、12306、58、搜狐、各种指数、维普万方、Zlibraty、Oalib、小说、招标网、采购网、小红书、大众点评、推特、脉脉、知乎》

lixi5338619
⭐ 1,876 Python 👤 lixi5338619 User 🕐 已更新 2024-05-09 📅 创建时间 2021-01-29
77
diskoverdata/diskover-community

Diskover 社区版 - 由 Elasticsearch 驱动的开源文件索引器、文件搜索引擎以及数据管理和分析

diskoverdata
⭐ 1,831 PHP 👤 diskoverdata Organization 🕐 已更新 2026-03-25 📅 创建时间 2017-04-19
78
eatmoreduck/boss-zhipin-scraper

Boss直聘爬虫 / BOSS直聘职位数据抓取工具,基于 Chrome CDP 协议复用真实登录态,绕过字体反爬,输出明文薪资 JSON/CSV + 薪资技能分析。

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 已更新 2026-11-03 📅 创建时间 2026-06-11
79
u3c3/BT-btt

磁力網站U3C3介紹以及域名更新

u3c3
⭐ 1,779 👤 u3c3 User 🕐 已更新 2025-01-01 📅 创建时间 2020-04-28
80
howie6879/ruia

基于 asyncio 的异步 Python 3.6+ 网页抓取微框架

howie6879
⭐ 1,738 Python 👤 howie6879 User 🕐 已更新 2026-10-30 📅 创建时间 2018-07-10
81
rushter/selectolax

Modest 和 Lexbor 引擎的 Python 绑定。适用于 Python 的带 CSS 选择器的快速 HTML5 解析器。

rushter
⭐ 1,717 Python 👤 rushter User 🕐 已更新 2026-11-10 📅 创建时间 2017-11-26
82
gildas-lormeau/single-file-cli

用于将完整的网页保存为单个 HTML 文件(基于 SingleFile)的忠实副本的 CLI 工具

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 已更新 2026-11-18 📅 创建时间 2022-05-31
83
YoongiKim/AutoCrawler

Google, Naver 多进程图像网络爬虫 (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 已更新 2026-11-12 📅 创建时间 2018-11-21
84
orangecoding/fredy

❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y](轻松寻找真正的房产)- Fredy 会持续在 ImmoScout24、Immowelt、eBay Kleinanzeigen 等平台上搜索欧洲的新公寓、住宅和房源,并通过 Slack、Telegram、电子邮件、Discord 或 ntfy 将结果即时发送给你,让你可以专注于生活中更重要的事情 ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 已更新 2026-11-19 📅 创建时间 2018-01-15
85
erma0/douyin

抖音爬虫——采集账号主页、喜欢、收藏、音乐原声、话题、搜索、合集、作品、关注、粉丝等公开数据。

erma0
⭐ 1,625 👤 erma0 User 🕐 已更新 2026-08-14 📅 创建时间 2022-05-29
86
ArchiveTeam/grab-site

档案管理员的爬虫:WARC 输出,所有爬取内容的仪表板,动态忽略模式

ArchiveTeam
⭐ 1,572 Python 👤 ArchiveTeam Organization 🕐 已更新 2025-05-23 📅 创建时间 2015-02-05
87
srx-2000/spider_collection

python爬虫,目前库存:网易云音乐歌曲爬取,B站视频爬取,知乎问答爬取,壁纸爬取,xvideos视频爬取,有声书爬取,微博爬虫,安居客信息爬取+数据可视化,哔哩哔哩视频封面提取器,ip代理池封装,知乎百万级用户爬虫+数据分析,github用户爬虫

srx-2000
⭐ 1,554 Python 👤 srx-2000 User 🕐 已更新 2024-04-23 📅 创建时间 2020-02-04
88
0x676e67/wreq-python

一款符合人体工程学、注重隐私的Python HTTP客户端

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 已更新 2026-11-15 📅 创建时间 2025-02-10
89
rebrowser/rebrowser-patches

用于 puppeteer 和 playwright 的补丁集合,以避免自动化检测和泄露。有助于绕过 Cloudflare 和 DataDome CAPTCHA 页面。易于打补丁/取消补丁,可按需启用/禁用。

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 已更新 2026-11-02 📅 创建时间 2024-08-06
90
dadoonet/fscrawler

Elasticsearch 文件系统爬虫 (FS 爬虫)

dadoonet
⭐ 1,459 Java 👤 dadoonet User 🕐 已更新 2026-11-19 📅 创建时间 2012-06-08
91
xisuo67/XHS-Spider

小红书数据采集、网站图片、视频资源批量下载工具,颜值超高的数据采集工具(批量下载,视频提取,图片)Telegram:https://t.me/+ZtLSwuIKTo44MDY1

xisuo67
⭐ 1,456 👤 xisuo67 User 🕐 已更新 2025-12-16 📅 创建时间 2023-04-25
92
openwpm/OpenWPM

一个网络隐私测量框架

openwpm
⭐ 1,429 Python 👤 openwpm Organization 🕐 已更新 2026-10-13 📅 创建时间 2014-06-10
93
darbra/sperm

浏览过的精彩逆向文章汇总,值得一看

darbra
⭐ 1,427 👤 darbra User 🕐 已更新 2026-04-13 📅 创建时间 2022-03-02
94
kgspider/crawler

K 哥爬虫代码分享,JS 逆向,爬虫进阶。关注公众号:K哥爬虫

kgspider
⭐ 1,371 JavaScript 👤 kgspider User 🕐 已更新 2025-05-12 📅 创建时间 2021-08-24
95
lorey/mlscraper

🤖 只需提供示例即可自动抓取 HTML 网站的数据

lorey
⭐ 1,370 Python 👤 lorey User 🕐 已更新 2024-03-17 📅 创建时间 2020-07-30
96
felipecsl/wombat

轻量级 Ruby Web 爬虫/抓取器,具有优雅的 DSL,可从页面中提取结构化数据。

felipecsl
⭐ 1,360 Ruby 👤 felipecsl User 🕐 已更新 2026-10-27 📅 创建时间 2011-11-14
97
0xInfection/XSRFProbe

Prime 跨站请求伪造 (CSRF) 审计和利用工具包。

0xInfection
⭐ 1,310 Python 👤 0xInfection User 🕐 已更新 2026-07-12 📅 创建时间 2018-08-21
98
fastcrw/crw

基于 Rust 的快速、轻量级 Firecrawl/Tavily 替代方案。包含用于 AI 代理的 MCP 服务器的网页抓取、爬虫和搜索 API。提供与 Firecrawl 兼容的直接替换 API(/scrape, /crawl, /search)。在 1K URL 基准测试中,速度比 Tavily 快 2.3 倍,比 Firecrawl 快 1.5 倍。仅需 6 MB 内存,单个二进制文件。支持自托管或使用托管云服务。

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-03-02
99
dwisiswant0/go-dork

用 Go 编写的最快的 Dork 扫描器。

dwisiswant0
⭐ 1,266 Go 👤 dwisiswant0 User 🕐 已更新 2024-02-04 📅 创建时间 2020-07-13
100
kiddyuchina/Beanbun

Beanbun 是用 PHP 编写的多进程网络爬虫框架,具有良好的开放性、高可扩展性,基于 Workerman。

kiddyuchina
⭐ 1,258 PHP 👤 kiddyuchina User 🕐 已更新 2026-05-26 📅 创建时间 2017-04-13