Git Stars Git Stars

#web-scraping 仓库

381
仓库总数
2.1M
总星标数
5,636
平均每个仓库星标数

共 382 个仓库

101
jerry3747/taobao_seckill

淘宝、天猫半价抢购,抢电视、抢茅台,干死黄牛党

jerry3747
⭐ 2,667 Python 👤 jerry3747 User 🕐 已更新 2024-07-12 📅 创建时间 2020-12-29
102
Predidit/KazumiRules

Kazumi的规则托管仓库,欢迎贡献 ^•ﻌ•^

Predidit
⭐ 2,653 Dart 👤 Predidit User 🕐 已更新 2026-11-13 📅 创建时间 2024-05-22
103
Anning01/AIMedia

AIMedia 是一款自动抓取热点,AI创作文章,自动发布的集成软件。支持头条,小红书,公众号等

Anning01
⭐ 2,619 TypeScript 👤 Anning01 User 🕐 已更新 2026-11-04 📅 创建时间 2024-10-28
104
oss-invisible/playwright

隐形 Playwright:反机器人系统无法检测到的 Playwright,因此不会触发验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测,适用于 Python 网页抓取和浏览器自动化。

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-05-13
105
Mahanaicoach/google-maps-scraper-kit

免费的开源 Google 地图潜在客户信息抓取工具(Python,无需 API 密钥或 Docker)。将名称、电话、电子邮件、网站、评分以及 Instagram/Facebook/LinkedIn/TikTok/YouTube/X 链接导出为 CSV。44 秒抓取 100 个含电子邮件地址的地点;--grid 可突破 Google 的 120 条上限。检查邮件 MX 记录,检测广告像素。适用于 Claude Code、Codex 和 Cursor 的技能。

Mahanaicoach
⭐ 2,567 Python 👤 Mahanaicoach User 🕐 已更新 2026-11-19 📅 创建时间 2026-06-21
106
lorien/grab

Web 抓取框架

lorien
⭐ 2,461 Python 👤 lorien User 🕐 已更新 2025-09-19 📅 创建时间 2013-05-01
107
openbullet/OpenBullet2

OpenBullet 焕新

openbullet
⭐ 2,447 C# 👤 openbullet User 🕐 已更新 2026-09-07 📅 创建时间 2020-04-23
108
0xMassi/webclaw

快速、本地优先的网页内容提取,专为LLM设计。从Rust中抓取、爬取、提取结构化数据 — CLI、REST API和MCP服务器。

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 已更新 2026-11-21 📅 创建时间 2026-03-10
109
paquettg/php-html-parser

一个 HTML DOM 解析器。它允许您操作 HTML。使用选择器在 HTML 页面上查找标签,就像 jQuery 一样。

paquettg
⭐ 2,405 HTML 👤 paquettg User 🕐 已更新 2024-08-09 📅 创建时间 2013-12-13
110
drunkdream/weread-exporter

将微信读书中的书籍导出成epub、pdf、mobi等格式

drunkdream
⭐ 2,403 Python 👤 drunkdream User 🕐 已更新 2026-03-21 📅 创建时间 2023-02-11
111
saifyxpro/HeadlessX

无法被检测的自托管浏览器自动化平台。由 Camoufox(Firefox)驱动,实现 0% 检测率。专为速度、隐私和可扩展性打造。

saifyxpro
⭐ 2,365 TypeScript 👤 saifyxpro User 🕐 已更新 2026-11-12 📅 创建时间 2025-09-12
112
jxhczhl/JsRpc

远程调用(rpc)浏览器方法,免去抠代码补环境

jxhczhl
⭐ 2,352 Go 👤 jxhczhl User 🕐 已更新 2026-06-08 📅 创建时间 2021-09-25
113
codingforentrepreneurs/30-Days-of-Python

在接下来的 30(左右)天学习 Python。

codingforentrepreneurs
⭐ 2,232 HTML 👤 codingforentrepreneurs User 🕐 已更新 2024-02-27 📅 创建时间 2016-03-09
114
chao325/MaoTai_GUIT

天猫 TaoBao i茅台 iMatoTai JD 京东抢购、京东抢茅台 Windows 端、开箱即用无需配置环境。开发在即(开源协议采用 Apache License)

chao325
⭐ 2,147 Python 👤 chao325 User 🕐 已更新 2026-11-12 📅 创建时间 2023-09-20
115
btahir/open-deep-research

Gemini Deep Research 的开源替代方案。基于搜索结果,使用 AI 生成报告。

btahir
⭐ 2,141 TypeScript 👤 btahir User 🕐 已更新 2025-12-15 📅 创建时间 2024-12-24
116
ThePhaseless/Byparr

自己获取有效的反机器人验证码!

ThePhaseless
⭐ 2,117 Python 👤 ThePhaseless User 🕐 已更新 2026-11-19 📅 创建时间 2024-07-24
117
oxylabs/how-to-scrape-google-scholar

使用 Python 和 Oxylabs SERP Scraper API 从 Google Scholar 提取标题、作者和引用的指南。

oxylabs
⭐ 2,095 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-03-07
118
oxylabs/how-to-scrape-amazon-prices

使用 Python 和 Oxylabs E-Commerce Scraper API 从 Amazon 提取畅销商品、搜索结果和当前可用优惠的 Python 代码。

oxylabs
⭐ 2,083 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-03-21
119
ssili126/tv

自动收集的IPv4酒店电视直播源,自动测试播放速度,每日自动更新。 有CCTV央视卫视频道,及部分地方频道,播放流畅。也可在openwrt或群辉的docker运行。

ssili126
⭐ 2,052 Python 👤 ssili126 User 🕐 已更新 2026-11-04 📅 创建时间 2024-01-12
120
supermemoryai/markdowner

一个快速将任何网站转换为 LLM 就绪的 Markdown 数据的工具。由 https://supermemory.ai 构建

supermemoryai
⭐ 2,033 TypeScript 👤 supermemoryai Organization 🕐 已更新 2026-10-02 📅 创建时间 2024-05-09
121
midudev/curso-python

零基础Python课程,适合所有人群,包含练习

midudev
⭐ 2,006 Python 👤 midudev User 🕐 已更新 2026-10-16 📅 创建时间 2025-01-15
122
zhegexiaohuozi/SeimiCrawler

一个简单、敏捷、分布式的支持SpringBoot的Java爬虫框架;一个敏捷、分布式的爬虫框架。

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 已更新 2026-11-17 📅 创建时间 2015-11-06
123
KEV0143/Parser-Chitai-Gorod

“Chitai-Gorod”目录的智能解析器。基于任何指定参数(从ISBN到折扣动态)的高速数据收集和结构化处理。

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 已更新 2026-09-17 📅 创建时间 2025-05-18
124
bogdanfinn/tls-client

net/http.Client 类似 HTTP Client,并提供选项以选择特定的客户端 TLS 指纹用于请求。

bogdanfinn
⭐ 1,949 Go 👤 bogdanfinn User 🕐 已更新 2026-11-18 📅 创建时间 2022-07-09
125
stevenyomi/copymanga

Tachiyomi的CopyManga扩展。

stevenyomi
⭐ 1,941 👤 stevenyomi User 🕐 已更新 2024-02-18 📅 创建时间 2022-06-30
126
nat/natbot

使用 GPT-3 驱动浏览器

nat
⭐ 1,933 Python 👤 nat User 🕐 已更新 2024-06-09 📅 创建时间 2022-09-29
127
ARC-MX/sgcc_electricity_new

HomeAssistant 国家电网电费查询

ARC-MX
⭐ 1,925 Python 👤 ARC-MX User 🕐 已更新 2026-11-07 📅 创建时间 2024-05-08
128
bugswriter/notflix

Notflix 是一个用于搜索和流式传输 torrent 的 shell 脚本。

bugswriter
⭐ 1,913 Shell 👤 bugswriter User 🕐 已更新 2024-06-18 📅 创建时间 2022-01-01
129
saermart/DouyinLiveWebFetcher

抖音直播间网页版的弹幕数据抓取(2025最新版本)

saermart
⭐ 1,909 Python 👤 saermart User 🕐 已更新 2026-09-08 📅 创建时间 2024-01-02
⭐ 1,894 Python 👤 LawRefBook Organization 🕐 已更新 2026-11-18 📅 创建时间 2022-03-21
131
Freedium-cfd/web

本仓库仅为镜像!主开发仓库位于 https://codeberg.org/Freedium-cfd/web

Freedium-cfd
⭐ 1,885 Python 👤 Freedium-cfd Organization 🕐 已更新 2026-10-20 📅 创建时间 2023-08-21
132
enetx/surf

SURF - 高级Go HTTP客户端,支持Chrome/Firefox浏览器模拟、带QUIC指纹的HTTP/3、JA3/JA4 TLS模拟以及用于Web自动化和抓取的反爬虫绕过。

enetx
⭐ 1,853 Go 👤 enetx User 🕐 已更新 2026-11-15 📅 创建时间 2025-08-30
133
microlinkhq/browserless

基于 Puppeteer 的无头 Chrome/Chromium 驱动。使用生产就绪的 API,可截屏、生成 PDF、提取文本和 HTML。

microlinkhq
⭐ 1,846 JavaScript 👤 microlinkhq Organization 🕐 已更新 2026-11-20 📅 创建时间 2017-09-06
134
tkfy920/qstock

qstock由“Python金融量化”公众号开发,试图打造成个人量化投研分析包,目前包括数据获取(data)、可视化(plot)、选股(stock)和量化回测(策略backtest)模块。 qstock将为用户提供简洁的数据接口和规整化后的金融市场数据。可视化模块为用户提供基于web的交互图形的简单接口; 选股模块提供了同花顺的选股数据和自定义选股,包括RPS、MM趋势、财务指标、资金流模型等; 回测模块为大家提供向量化(基于pandas)和基于事件驱动的基本框架和模型。 关注“Python金融量化“微信公众号,获取更多应用信息。

tkfy920
⭐ 1,839 Python 👤 tkfy920 User 🕐 已更新 2025-03-16 📅 创建时间 2022-10-10
135
deweizhu/bookget

bookget 数字古籍图书下载工具。

deweizhu
⭐ 1,824 Go 👤 deweizhu User 🕐 已更新 2026-01-23 📅 创建时间 2023-04-09
136
kickscondor/fraidycat

从单一页面关注博客、维基、YouTube 频道,以及 Twitter、Instagram 等账号。

kickscondor
⭐ 1,809 JavaScript 👤 kickscondor User 🕐 已更新 2024-02-07 📅 创建时间 2019-06-22
137
lit26/finvizfinance

Finviz 分析 Python 库。

lit26
⭐ 1,790 Python 👤 lit26 User 🕐 已更新 2026-11-18 📅 创建时间 2020-07-23
138
adsbypasser/adsbypasser

如果可能,绕过广告计数器。

adsbypasser
⭐ 1,790 JavaScript 👤 adsbypasser Organization 🕐 已更新 2026-11-21 📅 创建时间 2012-12-17
139
oxylabs/how-to-scrape-google-jobs

了解如何使用 Python 和 Oxylabs 的 Google Jobs Scraper API 构建您自己的 Google Jobs Scraper,该工具可以同时为多个搜索查询和地理位置抓取 Google Jobs。https://oxylabs.io/blog/how-to-scrape-google-jobs

oxylabs
⭐ 1,761 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-02-08
140
ProxyShard/ShardBrowser

免费、开源的反检测浏览器启动器,适用于网页抓取和多账号管理。由 ShardX 团队开发(前身为 ProxyShard)。在 Chromium 158 中实现引擎级指纹伪装(WebGL / WebGPU / Client Hints / 字体 / TLS),内置 220 多种设备配置文件,并支持通过 SOCKS5 运行稳定的 QUIC + WebRTC。

ProxyShard
⭐ 1,735 TypeScript 👤 ProxyShard User 🕐 已更新 2026-11-21 📅 创建时间 2026-05-30
141
egoist/sitefetch

抓取整个网站并将其保存为文本文件(供 AI 模型使用)。

egoist
⭐ 1,733 TypeScript 👤 egoist User 🕐 已更新 2025-01-18 📅 创建时间 2025-01-07
142
acoooder/aliyunpanshare

百度网盘、夸克网盘、阿里云盘影视资源分享,每日发布最新电视剧、综艺、电影资源。

acoooder
⭐ 1,729 👤 acoooder User 🕐 已更新 2026-11-21 📅 创建时间 2023-02-21
143
qinlili23333/ctfileGet

获取城通网盘一次性直连地址

qinlili23333
⭐ 1,725 JavaScript 👤 qinlili23333 User 🕐 已更新 2025-11-07 📅 创建时间 2021-02-11
144
oxylabs/scrape-google-python

在本教程中,我们将展示如何使用 Python 和 Oxylabs API 抓取公共的谷歌数据。

oxylabs
⭐ 1,719 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-07-30
145
rushter/selectolax

Modest 和 Lexbor 引擎的 Python 绑定。适用于 Python 的带 CSS 选择器的快速 HTML5 解析器。

rushter
⭐ 1,717 Python 👤 rushter User 🕐 已更新 2026-11-10 📅 创建时间 2017-11-26
146
Shrans/GalSites

哈喽~(∠・ω< )⌒☆

Shrans
⭐ 1,716 Python 👤 Shrans User 🕐 已更新 2026-10-26 📅 创建时间 2024-10-16
147
gildas-lormeau/single-file-cli

用于将完整的网页保存为单个 HTML 文件(基于 SingleFile)的忠实副本的 CLI 工具

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 已更新 2026-11-18 📅 创建时间 2022-05-31
148
MgArcher/Text_select_captcha

实现文字点选、选字、选择、点触验证码识别,基于pytorch训练

MgArcher
⭐ 1,679 Python 👤 MgArcher User 🕐 已更新 2026-05-08 📅 创建时间 2020-08-23
149
Altimis/Scweet

适用于 Python 的 Twitter 和 X 抓取工具:无需官方 API 即可抓取推文、个人资料、粉丝、关注对象和趋势。提供支持多账号池、代理和异步功能的 Twitter 抓取库,也可使用托管在 Apify 上的版本。

Altimis
⭐ 1,667 Python 👤 Altimis User 🕐 已更新 2026-11-20 📅 创建时间 2020-12-14