Git Stars Git Stars

#web-scraping 仓库

381
仓库总数
2.1M
总星标数
5,636
平均每个仓库星标数

共 382 个仓库

201
germondai/trawl

自托管爬取引擎——绕过任何JS挑战和验证码:Cloudflare、Turnstile、reCAPTCHA、hCaptcha、GeeTest。FlareSolverr和Byparr的替代品,可直接替换您的*arr堆栈。

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 已更新 2026-11-16 📅 创建时间 2026-06-26
202
intoli/user-agents

一个用于生成带有每日更新的数据的随机用户代理的 JavaScript 库。

intoli
⭐ 1,194 TypeScript 👤 intoli Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-08-06
203
Evolution0/bandcamp-dl

用于下载 Bandcamp 专辑的简单 Python 脚本

Evolution0
⭐ 1,189 Python 👤 Evolution0 User 🕐 已更新 2026-11-18 📅 创建时间 2013-04-29
204
goodreasonai/ScrapeServ

一个自托管的 API,接收一个 URL 并返回一个包含浏览器屏幕截图的文件。

goodreasonai
⭐ 1,184 Python 👤 goodreasonai Organization 🕐 已更新 2025-03-09 📅 创建时间 2025-02-05
205
eshaham/israeli-bank-scrapers

为所有主要以色列银行和信用卡公司提供爬虫

eshaham
⭐ 1,181 TypeScript 👤 eshaham User 🕐 已更新 2026-11-20 📅 创建时间 2017-07-29
206
dchrastil/ScrapedIn

无需 API 限制即可抓取 LinkedIn 数据的工具,用于数据侦察

dchrastil
⭐ 1,168 Python 👤 dchrastil User 🕐 已更新 2024-04-11 📅 创建时间 2018-03-29
207
ccd0/4chan-x

为匿名图站添加各种功能。

ccd0
⭐ 1,163 CoffeeScript 👤 ccd0 User 🕐 已更新 2026-08-27 📅 创建时间 2014-04-01
208
yize8888/maotai

i茅台,葫芦娃预约脚本

yize8888
⭐ 1,135 JavaScript 👤 yize8888 User 🕐 已更新 2025-03-08 📅 创建时间 2023-06-20
209
fwonggh/Bthub

Bthub最新地址发布页

fwonggh
⭐ 1,134 HTML 👤 fwonggh User 🕐 已更新 2026-11-21 📅 创建时间 2020-01-11
210
scrapfly/scrapfly-scrapers

适用于 80 多个热门网站的可扩展 Python 网页抓取脚本

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-22
211
juancarlospaco/faster-than-requests

在 Python 3 上更快的请求

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 已更新 2026-11-19 📅 创建时间 2018-11-13
212
cipher387/python-for-OSINT-21-days

在此存储库中,您将找到课程“OSINT 的 Python:专为初学者设计的 21 天课程”中每一天的示例代码文件。

cipher387
⭐ 1,129 Python 👤 cipher387 User 🕐 已更新 2026-01-06 📅 创建时间 2023-03-26
213
Cloxl/xhshow

小红书xs纯算 小红书x-s x-s-common xsc 等字段 纯算逆向

Cloxl
⭐ 1,124 Python 👤 Cloxl User 🕐 已更新 2026-06-11 📅 创建时间 2024-09-11
215
xiaoguyu/wechatDownload

微信公号文章下载工具

xiaoguyu
⭐ 1,107 TypeScript 👤 xiaoguyu User 🕐 已更新 2025-11-28 📅 创建时间 2023-01-03
216
vifreefly/kimuraframework

使用干净、AI 辅助的 DSL 在 Ruby 中编写网络爬虫。Kimurai 使用 AI 来确定数据的位置,然后缓存选择器并使用纯 Ruby 进行爬取。无需每次请求的延迟或令牌成本,即可获取 LLM 的智能。

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 已更新 2026-01-27 📅 创建时间 2018-08-23
217
requireCool/stealth.min.js

自动生成最新的 stealth.min.js。

requireCool
⭐ 1,096 👤 requireCool User 🕐 已更新 2026-11-16 📅 创建时间 2022-04-10
218
caolvchong-top/twitter_download

推特 图片 视频 爬虫;一键下载

caolvchong-top
⭐ 1,087 Python 👤 caolvchong-top User 🕐 已更新 2026-07-28 📅 创建时间 2022-08-23
219
YaoZeyuan/stablog

稳部落. 专业备份导出微博记录, 稳!

YaoZeyuan
⭐ 1,085 JavaScript 👤 YaoZeyuan User 🕐 已更新 2026-08-15 📅 创建时间 2019-09-11
220
Anil-matcha/awesome-agent-apis

660 多个由 muapi 托管的生成式媒体模型,以及社区提交的第三方 API 工具(SEO、数据丰富、社交媒体、抓取)——每个条目对应一个 YAML 文件,可按功能浏览。

Anil-matcha
⭐ 1,070 Python 👤 Anil-matcha User 🕐 已更新 2026-10-14 📅 创建时间 2023-05-06
221
antibrow/antibrow

内核级反检测浏览器,支持您熟悉的 Playwright API。提供 Python + Node SDK,支持 MCP,支持无限本地配置文件。支持 Linux x64 + arm64、macOS Intel + Apple Silicon,以及 Windows x64。

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 已更新 2026-09-28 📅 创建时间 2026-07-29
222
IcarusRyy/NewJob

一眼看出该职位最后修改时间,绿色为2周之内,暗橙色为1.5个月之内,红色为1.5个月以上

IcarusRyy
⭐ 1,058 JavaScript 👤 IcarusRyy User 🕐 已更新 2024-06-10 📅 创建时间 2024-05-03
223
stay-leave/weibo-public-opinion-analysis

基于微博数据的舆情分析项目,包括微博爬虫、LDA主题分析和情感分析。

stay-leave
⭐ 1,058 Python 👤 stay-leave User 🕐 已更新 2026-10-24 📅 创建时间 2021-08-01
⭐ 1,054 HTML 👤 lm-rebooter User 🕐 已更新 2026-05-06 📅 创建时间 2023-05-31
225
mandatoryprogrammer/thermoptic

下一代 HTTP 隐身代理,可在堆栈的所有层面上将请求完美伪装成 Chrome 浏览器。

mandatoryprogrammer
⭐ 1,053 JavaScript 👤 mandatoryprogrammer User 🕐 已更新 2026-10-25 📅 创建时间 2025-09-02
⭐ 1,041 JavaScript 👤 badlogic User 🕐 已更新 2026-02-17 📅 创建时间 2023-05-08
227
FR13ND8/BruteFb

使用 Termux 中的暴力破解方法黑入 Facebook

FR13ND8
⭐ 1,026 Python 👤 FR13ND8 User 🕐 已更新 2024-07-17 📅 创建时间 2019-01-10
228
janreges/siteone-crawler

SiteOne Crawler 是一个跨平台网站爬虫和分析器,用于 SEO、安全、可访问性和性能优化,是开发人员、DevOps、QA 工程师和顾问的理想选择。支持 Windows、macOS 和 Linux (x64 和 arm64)。

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 已更新 2026-09-27 📅 创建时间 2023-10-04
229
utkarshkukreti/select.rs

一个用于从 HTML 文档中提取有用数据的 Rust 库,适用于网络抓取。

utkarshkukreti
⭐ 1,018 Rust 👤 utkarshkukreti User 🕐 已更新 2025-03-19 📅 创建时间 2015-07-15
230
thepycoach/automation

使用Python进行自动化 (Excel, 脚本等)

thepycoach
⭐ 1,010 Jupyter Notebook 👤 thepycoach User 🕐 已更新 2024-05-19 📅 创建时间 2021-05-02
231
fferrin/free-medium

一个免费阅读 Medium 文章的扩展

fferrin
⭐ 1,008 JavaScript 👤 fferrin User 🕐 已更新 2025-11-02 📅 创建时间 2024-02-13
232
WittmannF/sort-google-scholar

基于引用次数对 Google Scholar 搜索结果进行排名

WittmannF
⭐ 999 Python 👤 WittmannF User 🕐 已更新 2026-10-30 📅 创建时间 2016-04-30
233
maldevel/EmailHarvester

电子邮件地址采集器

maldevel
⭐ 999 Python 👤 maldevel User 🕐 已更新 2026-06-07 📅 创建时间 2016-04-16
234
runesleo/x-reader

适用于10多个平台的通用内容阅读器MCP服务器

runesleo
⭐ 992 Python 👤 runesleo User 🕐 已更新 2026-11-11 📅 创建时间 2026-02-22
235
borisbabic/browser_cookie3

这是 browser_cookie 的一个 fork

borisbabic
⭐ 989 Python 👤 borisbabic User 🕐 已更新 2024-12-20 📅 创建时间 2015-04-26
236
MinorJerry/WebVoyager

"WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models" 的代码

MinorJerry
⭐ 986 Python 👤 MinorJerry User 🕐 已更新 2024-03-04 📅 创建时间 2024-01-24
237
YaoZeyuan/zhihuhelp

基于node&typescript重写知乎助手

YaoZeyuan
⭐ 985 TypeScript 👤 YaoZeyuan User 🕐 已更新 2026-10-24 📅 创建时间 2019-02-04
238
nicoxiang/geektime-downloader

极客时间课程下载器,支持下载极客时间专栏/视频课/每日一课/大厂实践/训练营视频

nicoxiang
⭐ 982 Go 👤 nicoxiang User 🕐 已更新 2026-11-19 📅 创建时间 2022-03-12
239
romansky/dom-to-semantic-markdown

DOM转Semantic-Markdown,供LLM使用

romansky
⭐ 976 TypeScript 👤 romansky User 🕐 已更新 2025-05-21 📅 创建时间 2024-07-22
241
cutetailbud/ff-ruyijs

这是一款轻量级无头浏览器,专为 AI 智能体(如 Codex 或 Claude Code)执行浏览器自动化任务而打造;它旨在应对各种网页防护系统、登录流程和逆向工程场景。

cutetailbud
⭐ 968 C++ 👤 cutetailbud User 🕐 已更新 2026-11-19 📅 创建时间 2026-10-28
242
treetrum/amazon-kindle-bulk-downloader

允许您以更自动化的方式批量下载所有Kindle电子书。此工具允许您创建已购买书籍的备份副本。

treetrum
⭐ 968 TypeScript 👤 treetrum User 🕐 已更新 2025-02-27 📅 创建时间 2023-04-07
244
HtmlUnit/htmlunit

HtmlUnit 是一个 "无 GUI 的 Java 程序浏览器".

HtmlUnit
⭐ 951 JavaScript 👤 HtmlUnit Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-09-02
245
JUk1-GH/gpt-promo-scanner

ChatGPT Team (Business) 促销码自动扫描工具 — 批量发现/验证/价格收集,支持 17 国 34 个码,最高折扣 71% | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off

JUk1-GH
⭐ 948 Python 👤 JUk1-GH User 🕐 已更新 2026-05-15 📅 创建时间 2026-05-11
246
SickleSec/SnowEyes

一款用于网页敏感信息检测,指纹识别的chrome插件

SickleSec
⭐ 946 JavaScript 👤 SickleSec User 🕐 已更新 2026-08-10 📅 创建时间 2024-12-27
247
BullsEye0/dorks-eye

Dorks Eye Google Hacking 垃圾信息抓取和搜索脚本。Dorks Eye 是我用 python 3 制作的一个脚本。使用此工具,您可以轻松找到 Google Dorks。Dork Eye 收集互联网上可能存在漏洞的网页和应用程序,或 Google 搜索机器人收集到的其他绝妙信息。作者:Jolanda de Koff

BullsEye0
⭐ 940 Python 👤 BullsEye0 User 🕐 已更新 2026-10-01 📅 创建时间 2020-04-30
248
caseychu/spotify-backup

导出您所有 Spotify 播放列表的 Python 脚本。

caseychu
⭐ 937 Python 👤 caseychu User 🕐 已更新 2024-09-22 📅 创建时间 2014-12-24
249
facundoolano/feedi

个人信息流阅读器

facundoolano
⭐ 933 Python 👤 facundoolano User 🕐 已更新 2026-09-19 📅 创建时间 2023-07-15
250
browser-use/awesome-prompts

超棒的浏览器使用提示表

browser-use
⭐ 926 👤 browser-use Organization 🕐 已更新 2025-03-26 📅 创建时间 2025-03-26