Git Stars Git Stars

#web-scraping 仓库

381
仓库总数
2.1M
总星标数
5,636
平均每个仓库星标数

共 382 个仓库

251
aws/nova-act

Amazon Nova Act 是一种 AWS 服务,用于大规模构建和部署高度可靠的 AI 代理,以自动化基于 UI 的工作流。

aws
⭐ 920 Python 👤 aws Organization 🕐 已更新 2026-11-19 📅 创建时间 2025-03-10
252
goose3/goose3

goose 的 Python 3 兼容版本 http://goose3.readthedocs.io/en/latest/index.html

goose3
⭐ 916 HTML 👤 goose3 Organization 🕐 已更新 2026-07-23 📅 创建时间 2016-12-11
253
MobinX/awesome-mcp-list

MCP服务器的简洁列表

MobinX
⭐ 915 👤 MobinX User 🕐 已更新 2026-11-19 📅 创建时间 2025-03-24
254
Borber/seam

获取多直播平台的直播源

Borber
⭐ 909 Rust 👤 Borber User 🕐 已更新 2024-01-22 📅 创建时间 2020-03-24
255
Rishikant181/Rettiwt-API

一个用于从 Twitter 免费获取数据的 CLI 工具和 API!

Rishikant181
⭐ 904 TypeScript 👤 Rishikant181 User 🕐 已更新 2026-11-10 📅 创建时间 2022-01-24
256
Cl0udG0d/Fofa-hack

非付费会员,fofa数据采集工具

Cl0udG0d
⭐ 882 Python 👤 Cl0udG0d User 🕐 已更新 2025-10-28 📅 创建时间 2022-09-15
257
KartikTalwar/Duolingo

用 Python 编写的非官方 Duolingo API

KartikTalwar
⭐ 881 Python 👤 KartikTalwar User 🕐 已更新 2024-04-12 📅 创建时间 2013-07-03
258
coddingtonbear/python-myfitnesspal

以编程方式访问存储在 MyFitnessPal 中的餐食跟踪数据

coddingtonbear
⭐ 875 Python 👤 coddingtonbear User 🕐 已更新 2025-09-28 📅 创建时间 2013-07-16
259
oss-invisible/playwright_mcp

隐形 Playwright MCP:不会被反机器人系统和验证码检测到的 Playwright MCP 服务器:AI 智能体使用反检测隐身版 Firefox、Python、隐蔽式浏览器自动化、网页抓取和计算机操作来浏览互联网。

oss-invisible
⭐ 869 Python 👤 oss-invisible Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-09-29
260
oxylabs/agent-skills

Oxylabs 产品的官方 Agent 技能

oxylabs
⭐ 869 JavaScript 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2026-02-17
261
844704781/ximalaya_downloader

⭐️ 一个可爱且任性的 喜马拉雅专辑音频无限制下载器O(∩_∩)O

844704781
⭐ 868 JavaScript 👤 844704781 User 🕐 已更新 2026-09-20 📅 创建时间 2024-05-17
262
ttlns/Selenium-Driverless

一个隐蔽的浏览器自动化框架

ttlns
⭐ 860 Python 👤 ttlns User 🕐 已更新 2026-10-20 📅 创建时间 2023-07-21
263
akkuman/rotateproxy

利用fofa搜索socks5开放代理进行代理池轮切的工具

akkuman
⭐ 859 Go 👤 akkuman User 🕐 已更新 2025-05-20 📅 创建时间 2021-10-18
264
Hong-Kong-Emergency-Coordination-Hub/Hong-Kong-Fire-Documentary

香港火灾(大埔,11/26):一场大火席卷了王福苑

Hong-Kong-Emergency-Coordination-Hub
⭐ 854 HTML 👤 Hong-Kong-Emergency-Coordination-Hub Organization 🕐 已更新 2025-12-05 📅 创建时间 2025-11-28
265
AtuboDad
⭐ 851 Python 👤 AtuboDad User 🕐 已更新 2024-07-29 📅 创建时间 2020-12-22
266
zgq354/weibo-rss

🍰 把喜欢的微博转为 RSS 订阅源

zgq354
⭐ 847 TypeScript 👤 zgq354 User 🕐 已更新 2026-10-20 📅 创建时间 2017-09-30
267
kiliman/tailwindui-crawler

tailwindui-crawler 在本地下载组件 HTML 文件

kiliman
⭐ 840 JavaScript 👤 kiliman User 🕐 已更新 2025-11-05 📅 创建时间 2020-03-06
268
postmodern/spidr

一个多功能的 Ruby Web 爬虫库,可以爬取一个站点、多个域、特定链接或无限期。Spidr 设计为快速且易用。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 已更新 2026-01-12 📅 创建时间 2009-03-08
269
OriX6/liveRecordAuto

基于 Electron 的多平台直播自动录制软件 支持抖音/快手 多链接形式

OriX6
⭐ 828 👤 OriX6 User 🕐 已更新 2024-03-07 📅 创建时间 2023-08-27
270
hcjohn463/JableTVDownload

下载 jable好帮手

hcjohn463
⭐ 823 Python 👤 hcjohn463 User 🕐 已更新 2026-08-13 📅 创建时间 2021-01-10
271
hollingsworthd/jBrowserDriver

一个可编程、可嵌入的 Web 浏览器驱动程序,与 Selenium WebDriver 规范兼容 -- 无头、基于 WebKit、纯 Java

hollingsworthd
⭐ 818 Java 👤 hollingsworthd User 🕐 已更新 2026-11-17 📅 创建时间 2015-01-15
272
tiliondev/fortress

隐身 Chromium 引擎,只需更改一行代码,即可防止爬虫和浏览器代理被拦截。

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 已更新 2026-11-03 📅 创建时间 2026-07-02
273
Kaliiiiiiiiii-Vinyzu/patchright-nodejs

Playwright 测试和自动化库的未检测到的 NodeJS 版本。

Kaliiiiiiiiii-Vinyzu
⭐ 813 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 已更新 2026-11-10 📅 创建时间 2024-11-02
274
zhaotoday/fingerprint-browser

指纹浏览器(防关联浏览器 / 反检测浏览器 / Antidetect Browser)与住宅代理 IP 选型指南及开源资源汇总:整理了 27 款主流指纹浏览器和 28 家代理 IP 服务商的套餐价格,涵盖 Chromium 指纹定制、Camoufox、Patchright、反检测自动化及指纹检测工具。

zhaotoday
⭐ 813 👤 zhaotoday User 🕐 已更新 2026-11-15 📅 创建时间 2023-11-05
275
zqzess/MyWebStorage

整合网络上现有的香色闺阁源,爬虫每周自动更新书源

zqzess
⭐ 813 HTML 👤 zqzess User 🕐 已更新 2026-11-16 📅 创建时间 2021-05-18
276
feder-cr/invisible_selenium

反机器人系统看不见的 Selenium,因此无需验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测,以及 Python 网页抓取和浏览器自动化。

feder-cr
⭐ 808 Python 👤 feder-cr User 🕐 已更新 2026-10-19 📅 创建时间 2024-08-16
277
justjavac/weibo-trending-hot-search

微博热搜榜,记录从 2020-11-24 日开始的微博热门搜索。每小时抓取一次数据,按天归档。

justjavac
⭐ 804 TypeScript 👤 justjavac User 🕐 已更新 2026-11-21 📅 创建时间 2020-11-24
278
longxiaofei/spider-BaiduIndex

百度指数数据SDK

longxiaofei
⭐ 800 Python 👤 longxiaofei User 🕐 已更新 2025-11-24 📅 创建时间 2018-09-27
279
MrTurvey/flareprox

使用Cloudflare创建用于唯一IP轮换的HTTP直通代理,类似于fireprox

MrTurvey
⭐ 799 Python 👤 MrTurvey User 🕐 已更新 2025-11-11 📅 创建时间 2025-09-26
280
chinoogawa/instaBrute

Instagram 暴力破解漏洞利用模块

chinoogawa
⭐ 798 Python 👤 chinoogawa User 🕐 已更新 2024-03-29 📅 创建时间 2015-08-04
281
hyperbrowserai/mcp

Hyperbrowser的MCP服务器实现

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 已更新 2025-11-20 📅 创建时间 2025-02-25
282
discourse/onebox

(已弃用)将 URL 转换为网站预览的 gem

discourse
⭐ 792 Ruby 👤 discourse Organization 🕐 已更新 2024-02-01 📅 创建时间 2013-07-09
283
figranium/figranium

通过可视化堆叠模块,构建复杂的浏览器工作流,并通过 API 执行

figranium
⭐ 791 JavaScript 👤 figranium Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-12-25
284
DoctorD1501/JAVMovieScraper

抓取 XBMC 和 Kodi 电影元数据,并自动重命名日本成人视频 (JAV)、美国成人 DVD 和美国成人网络内容的 文件。

DoctorD1501
⭐ 789 Java 👤 DoctorD1501 User 🕐 已更新 2024-03-14 📅 创建时间 2014-07-27
286
checkToke/yangtai

青龙面板、上车, 巴奴火锅、一汽大众、海底捞、屈臣氏、霸王茶姬、华住会、东呈会、万达酒店、益禾堂 自动签到 。大疆商城监控库存、价格变化

checkToke
⭐ 782 JavaScript 👤 checkToke User 🕐 已更新 2025-10-23 📅 创建时间 2024-06-24
287
lonnyzhang423/douyin-hot-hub

记录抖音热榜、明星榜、直播榜、音乐榜和品牌榜,每小时更新,按天归档。

lonnyzhang423
⭐ 782 Python 👤 lonnyzhang423 User 🕐 已更新 2026-10-22 📅 创建时间 2021-01-09
288
quantumproxies/quantumproxies.io

住宅、数据中心、ISP 和移动代理,覆盖 200 多个国家/地区,拥有 9,000 多万个 IP——另提供网页抓取和 SERP API。附 Python、Node.js、PHP、Go、Java、C#、Ruby 和 curl 代码示例。

quantumproxies
⭐ 780 Java 👤 quantumproxies User 🕐 已更新 2026-09-06 📅 创建时间 2025-11-17
289
letr007/CCTVVideoDownloader

一款适用于央视网的网络视频流解析处理工具

letr007
⭐ 774 C++ 👤 letr007 User 🕐 已更新 2026-11-13 📅 创建时间 2023-12-29
290
mattsse/voyager

用 rust 爬取和抓取网页

mattsse
⭐ 767 Rust 👤 mattsse User 🕐 已更新 2024-12-14 📅 创建时间 2020-12-22
291
pbeenigg/LittleCrawler

LittleCrawler(小爬虫),支持小红书(xhs)|知乎(zh)| 闲鱼(xy)平台的公开信息抓取。

pbeenigg
⭐ 764 Python 👤 pbeenigg User 🕐 已更新 2026-08-09 📅 创建时间 2026-01-07
292
serpapi/google-search-results-python

Google 搜索结果通过 SERP API pip Python 包

serpapi
⭐ 762 Python 👤 serpapi Organization 🕐 已更新 2026-08-18 📅 创建时间 2018-01-10
293
python-mechanize/mechanize

python-mechanize 项目的官方源代码

python-mechanize
⭐ 760 Python 👤 python-mechanize Organization 🕐 已更新 2026-11-16 📅 创建时间 2017-03-08
294
andybalholm/cascadia

Go 中的 CSS 选择器库

andybalholm
⭐ 760 Go 👤 andybalholm User 🕐 已更新 2026-11-12 📅 创建时间 2015-03-28
295
oxylabs/web-scraping-google-sheets

使用Google表格进行基本网页抓取的指南

oxylabs
⭐ 757 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2022-11-14
296
1broseidon/ketch

快速、无状态的网页搜索和抓取 CLI。专为 AI 代理构建。

1broseidon
⭐ 756 Go 👤 1broseidon User 🕐 已更新 2026-11-19 📅 创建时间 2026-03-25
297
4ier/neo

将任何 Web 应用转化为 API。Chrome 扩展捕获浏览器流量,自动生成模式,让 AI 直接重放 API。无需官方 API。

4ier
⭐ 756 JavaScript 👤 4ier User 🕐 已更新 2026-04-28 📅 创建时间 2025-11-03
298
developersdigest/llm-api-engine

在几秒钟内构建和部署支持 AI 的 API

developersdigest
⭐ 755 TypeScript 👤 developersdigest User 🕐 已更新 2025-02-03 📅 创建时间 2025-01-24
299
jshemas/openGraphScraper

Node.js 抓取器服务,用于获取 Open Graph 信息及更多!

jshemas
⭐ 754 TypeScript 👤 jshemas User 🕐 已更新 2026-10-30 📅 创建时间 2013-09-01
300
FreshRSS/Extensions

包含所有官方 FreshRSS 扩展的存储库

FreshRSS
⭐ 751 PHP 👤 FreshRSS Organization 🕐 已更新 2026-11-19 📅 创建时间 2015-01-08