Git Stars Git Stars

#crawler 仓库

162
仓库总数
1.1M
总星标数
6,863
平均每个仓库星标数

共 162 个仓库

101
Zeal-L/BiliBili-Manga-Downloader

一个好用的哔哩哔哩漫画下载器,拥有图形界面,支持关键词搜索漫画和二维码登入,黑科技下载未解锁章节,多线程下载,多种保存格式,本地漫画管理,一键检查更新!

Zeal-L
⭐ 1,244 Python 👤 Zeal-L User 🕐 已更新 2025-07-23 📅 创建时间 2023-01-15
102
InstaPy/instagram-profilecrawl

📝 快速爬取Instagram个人资料的信息(例如关注者、标签等...)。

InstaPy
⭐ 1,244 Python 👤 InstaPy Organization 🕐 已更新 2024-03-19 📅 创建时间 2017-02-15
103
seveniruby/AppCrawler

基于appium的app自动遍历工具

seveniruby
⭐ 1,244 Scala 👤 seveniruby User 🕐 已更新 2026-04-20 📅 创建时间 2016-02-16
104
webrecorder/browsertrix-crawler

在单个 Docker 容器中运行高保真浏览器网页归档爬虫

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 已更新 2026-11-19 📅 创建时间 2020-11-02
105
AndyTheFactory/newspaper4k

📰 Newspaper4k,是备受欢迎的Newspaper3k的一个分支。从新闻网站提取文章、标题和元数据。

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 已更新 2026-11-01 📅 创建时间 2023-10-22
106
dixudx/tumblr-crawler

轻松从 Tumblr 博客下载所有照片/视频。下载指定的 Tumblr 博客中的图片,视频

dixudx
⭐ 1,160 Python 👤 dixudx User 🕐 已更新 2025-12-26 📅 创建时间 2016-04-15
107
codelibs/fess

基于 OpenSearch 构建的开源、自托管企业级及网站搜索服务器。支持网页/文件/数据库/云端数据源抓取,涵盖 20 多种语言,提供 REST API 以及 AI/RAG 和语义搜索功能。采用 Apache-2.0 协议。

codelibs
⭐ 1,152 Java 👤 codelibs Organization 🕐 已更新 2026-11-21 📅 创建时间 2013-09-13
108
scrapfly/scrapfly-scrapers

适用于 80 多个热门网站的可扩展 Python 网页抓取脚本

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-22
109
BaiduSpider/BaiduSpider

BaiduSpider,一个爬取百度搜索结果的爬虫,目前支持百度网页搜索,百度图片搜索,百度知道搜索,百度视频搜索,百度资讯搜索,百度文库搜索,百度经验搜索和百度百科搜索。

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 已更新 2024-06-14 📅 创建时间 2020-10-03
110
elixir-crawly/crawly

Crawly,Elixir 的高级 Web 爬虫和抓取框架。

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-03-09
111
0x676e67/wreq

一个符合人体工程学且注重隐私的 Rust HTTP 客户端

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 已更新 2026-11-20 📅 创建时间 2024-09-19
112
wujunwei928/parse-video

Golang短视频去水印:抖音,皮皮虾,火山,微视,最右,快手,全民小视频,皮皮搞笑,西瓜视频,虎牙,梨视频,acfun,好看视频...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 已更新 2026-11-08 📅 创建时间 2022-07-12
113
vifreefly/kimuraframework

使用干净、AI 辅助的 DSL 在 Ruby 中编写网络爬虫。Kimurai 使用 AI 来确定数据的位置,然后缓存选择器并使用纯 Ruby 进行爬取。无需每次请求的延迟或令牌成本,即可获取 LLM 的智能。

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 已更新 2026-01-27 📅 创建时间 2018-08-23
114
antibrow/antibrow

内核级反检测浏览器,支持您熟悉的 Playwright API。提供 Python + Node SDK,支持 MCP,支持无限本地配置文件。支持 Linux x64 + arm64、macOS Intel + Apple Silicon,以及 Windows x64。

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 已更新 2026-09-28 📅 创建时间 2026-07-29
115
darbra/awesome-ai-reverse

AI 逆向一把梭

darbra
⭐ 1,026 👤 darbra User 🕐 已更新 2026-09-29 📅 创建时间 2026-04-14
116
janreges/siteone-crawler

SiteOne Crawler 是一个跨平台网站爬虫和分析器,用于 SEO、安全、可访问性和性能优化,是开发人员、DevOps、QA 工程师和顾问的理想选择。支持 Windows、macOS 和 Linux (x64 和 arm64)。

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 已更新 2026-09-27 📅 创建时间 2023-10-04
117
apache/stormcrawler

一个基于 Apache Storm 的可扩展、成熟且多功能的网络爬虫

apache
⭐ 1,014 Java 👤 apache Organization 🕐 已更新 2026-11-17 📅 创建时间 2013-04-12
118
pea3nut/Pxer

pixiv.net 的工具。 人人可用的 P 站爬虫

pea3nut
⭐ 1,010 JavaScript 👤 pea3nut User 🕐 已更新 2025-03-03 📅 创建时间 2015-12-16
119
spidersuite/SpiderSuite

SpiderSuite(网络安全爬虫)发布、维基和路线图

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 已更新 2026-08-13 📅 创建时间 2023-04-05
120
fredwu/crawler

Elixir 实现的高性能 Web 爬虫/抓取器。

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 已更新 2026-11-21 📅 创建时间 2016-08-08
121
ma6254/FictionDown

小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 已更新 2025-01-21 📅 创建时间 2019-03-03
122
xiaoxiunique/x-kit

用于X.com的纯Python协议工具和研究笔记,包含VibeLoft Twitter账户数据集

xiaoxiunique
⭐ 947 Python 👤 xiaoxiunique User 🕐 已更新 2026-11-04 📅 创建时间 2024-12-16
123
0xAllenChen/spider_reverse

爬虫逆向案例,已完成:TLS指纹|瑞数|震坤行 | 网易易盾 | 微信小程序反编译逆向(百达星系) | 同花顺 | rpc解密 | 加速乐 | 极验滑块验证码 | 巨量算数 | Boss直聘 | 企查查 | 中国五矿 | qq音乐 | 产业政策大数据平台 | 企知道 | 雪球网(acw_sc__v2) | 1688 | 七麦数据 | whggzy | 企名科技 | mohurd | 艺恩数据 | 欧科云链

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 已更新 2026-11-17 📅 创建时间 2023-06-02
124
TikHub/TikHub-API-Python-SDK

适用于Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X)的高性能异步验证码解决器(Captcha Solver)和临时邮箱(Temp Mail)API(接口)。

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 已更新 2026-10-03 📅 创建时间 2022-12-17
125
hellock/icrawler

一个提供许多内置图像爬虫的多线程爬虫框架。

hellock
⭐ 936 Python 👤 hellock User 🕐 已更新 2025-12-10 📅 创建时间 2016-03-19
126
JoMingyu/google-play-scraper

受 <facundoolano/google-play-scraper> 启发的 Python Google Play 爬虫工具

JoMingyu
⭐ 930 Python 👤 JoMingyu User 🕐 已更新 2024-08-05 📅 创建时间 2019-06-04
127
SkywalkerDarren/chatWeb

ChatWeb 可以抓取网页,阅读 PDF、DOCX、TXT 文件并提取主要内容,然后根据内容回答您的问题,或总结要点。

SkywalkerDarren
⭐ 916 Python 👤 SkywalkerDarren User 🕐 已更新 2026-05-25 📅 创建时间 2023-03-09
128
scrapinghub/scrapyrt

Scrapy爬虫的HTTP API

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 已更新 2026-10-13 📅 创建时间 2015-01-06
129
rndinfosecguy/Scavenger

正在粘贴网站上搜索泄露信息的爬虫(机器人)。

rndinfosecguy
⭐ 883 Python 👤 rndinfosecguy User 🕐 已更新 2026-11-20 📅 创建时间 2018-03-10
130
skrapeit/skrape.it

一个基于 Kotlin 的测试/抓取/解析库,提供分析和从 HTML(服务器端和客户端渲染)中提取数据的能力。它特别强调易用性和高可读性,通过提供直观的 DSL。它旨在成为一个测试库,但也可以方便地用于抓取网站。

skrapeit
⭐ 874 Kotlin 👤 skrapeit User 🕐 已更新 2026-10-20 📅 创建时间 2019-01-14
131
StJudeWasHere/seonaut

开源SEO审计工具。

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 已更新 2026-10-08 📅 创建时间 2022-03-02
132
setvisible/ArrowDL

ArrowDL (Arrow Downloader) 是 Windows、macOS 和 Linux 的下载管理器。

setvisible
⭐ 855 C++ 👤 setvisible User 🕐 已更新 2026-05-04 📅 创建时间 2019-07-04
133
BlessedRebuS/Krawl

Krawl 是一个可定制的、轻量级的、云原生的网络欺骗服务器和反爬虫工具,它使用真实、随机生成的诱饵数据和 AI 生成的 HTML 模板创建具有低门槛漏洞的虚假 Web 应用程序。

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 已更新 2026-11-20 📅 创建时间 2025-12-10
134
postmodern/spidr

一个多功能的 Ruby Web 爬虫库,可以爬取一个站点、多个域、特定链接或无限期。Spidr 设计为快速且易用。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 已更新 2026-01-12 📅 创建时间 2009-03-08
135
tiliondev/fortress

隐身 Chromium 引擎,只需更改一行代码,即可防止爬虫和浏览器代理被拦截。

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 已更新 2026-11-03 📅 创建时间 2026-07-02
136
MorvanZhou/easy-scraping-tutorial

简单但有用的 Python 网页抓取教程代码。

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 已更新 2024-04-07 📅 创建时间 2017-12-29
137
fffonion/xeHentai

Doujinshi 下载器 绅士漫画下载

fffonion
⭐ 808 Python 👤 fffonion User 🕐 已更新 2026-11-15 📅 创建时间 2013-03-23
138
fanyong920/jvppeteer

Chrome 和 Firefox 的 Java API

fanyong920
⭐ 805 Java 👤 fanyong920 User 🕐 已更新 2026-10-04 📅 创建时间 2020-03-11
139
chadi0x/TheBigBrother

The Big Brother 是一个武器化 OSINT 平台,具备用户名枚举(支持 473 多个平台)、四向量视觉情报、Sky Radar 追踪、加密货币钱包分析、SSL 情报、数字足迹重建、EXIF 提取、高级搜索语法挖掘以及网络侦察功能。

chadi0x
⭐ 787 Python 👤 chadi0x User 🕐 已更新 2026-11-14 📅 创建时间 2025-12-08
140
JSREI/js-cookie-monitor-debugger-hook

JS cookie逆向利器:JS cookie变动监控可视化工具 & JS cookie hook打条件断点

JSREI
⭐ 779 TypeScript 👤 JSREI Organization 🕐 已更新 2026-01-28 📅 创建时间 2022-07-22
141
lixi5338619/lxBook

《爬虫逆向进阶实战》书籍代码库

lixi5338619
⭐ 770 JavaScript 👤 lixi5338619 User 🕐 已更新 2026-01-26 📅 创建时间 2021-11-16
142
xuxueli/xxl-crawler

轻量级 Web 爬虫框架。(Java 爬虫框架)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 已更新 2026-08-08 📅 创建时间 2017-10-17
143
polyrabbit/hacker-news-digest

📰 让 LLM 为你总结 Hacker News

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 已更新 2026-11-21 📅 创建时间 2014-09-17
144
TumblThreeApp/TumblThree

Tumblr 和 Twitter 博客备份应用程序

TumblThreeApp
⭐ 744 C# 👤 TumblThreeApp Organization 🕐 已更新 2026-11-14 📅 创建时间 2018-12-29
145
PyPtt/PyPtt

最佳 PTT 库

PyPtt
⭐ 733 Python 👤 PyPtt Organization 🕐 已更新 2026-11-13 📅 创建时间 2017-05-28
146
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn 个人资料抓取器,返回 JSON 格式的结构化个人资料数据。

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 已更新 2024-04-05 📅 创建时间 2018-12-21
147
chushuai/wscan

Wscan 是一款专注于网络安全的网络安全扫描器,致力于让网络安全惠及每个人。

chushuai
⭐ 717 Go 👤 chushuai User 🕐 已更新 2026-09-21 📅 创建时间 2022-05-06
148
tasos-py/Search-Engines-Scraper

使用 Python 搜索 Google、Bing、Yahoo 和其他搜索引擎

tasos-py
⭐ 672 Python 👤 tasos-py User 🕐 已更新 2025-04-02 📅 创建时间 2018-01-08
149
C0D3D3V/Moodle-DL

Moodle-DL 快速从 Moodle 下载课程内容(例如,讲座 PDF)

C0D3D3V
⭐ 668 Python 👤 C0D3D3V User 🕐 已更新 2026-10-22 📅 创建时间 2019-12-19
150
cxcscmu/Craw4LLM

"Craw4LLM:LLM 预训练的高效网络爬取"的官方仓库

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 已更新 2025-02-24 📅 创建时间 2025-02-17