Git Stars Git Stars

#web-scraping 仓库

381
仓库总数
2.1M
总星标数
5,636
平均每个仓库星标数

共 382 个仓库

351
samacs/simple_html_dom

只是一个 Simple HTML DOM 库的分支。 (http://simplehtmldom.sourceforge.net/)

samacs
⭐ 587 HTML 👤 samacs User 🕐 已更新 2024-05-15 📅 创建时间 2012-09-23
352
pcrbot/HoshinoBot-plugins-index

HoshinoBot 插件索引

pcrbot
⭐ 581 Python 👤 pcrbot Organization 🕐 已更新 2026-11-16 📅 创建时间 2020-11-13
354
vakra-dev/reader

面向 AI 的开源网络基础设施。抓取、爬取并自动化网络,清理 Markdown,浏览器会话,已为您的代理准备就绪。

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 已更新 2026-10-06 📅 创建时间 2026-01-07
355
JeremiahPetersen/RepoToText

将整个 GitHub Repo 转换为单个整理好的 .txt 文件,以供 LLM(ChatGPT、Claude、Gemini 等)使用。

JeremiahPetersen
⭐ 576 Python 👤 JeremiahPetersen User 🕐 已更新 2024-05-29 📅 创建时间 2023-07-09
356
realgam3/pymultitor

PyMultitor - Python 多线程 Tor 代理

realgam3
⭐ 575 Python 👤 realgam3 User 🕐 已更新 2025-08-30 📅 创建时间 2013-09-28
357
firecrawl/firestarter

🔥 通过 RAG 驱动的搜索、流式响应和与 OpenAI 兼容的 API 端点,即时为任何网站创建 AI 聊天机器人

firecrawl
⭐ 571 TypeScript 👤 firecrawl Organization 🕐 已更新 2025-06-18 📅 创建时间 2025-06-13
358
jpjacobpadilla/Stealth-Requests

Python 中难以被检测的网页抓取与无缝 HTML 解析!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 已更新 2026-09-19 📅 创建时间 2024-08-04
359
alterem/knowledge-grab

knowledge-grab 是一个基于 Tauri 和 Vue 3 构建的桌面应用程序,方便用户从 国家中小学智慧教育平台 (basic.smartedu.cn) 下载各类教育资源。

alterem
⭐ 566 Rust 👤 alterem User 🕐 已更新 2026-10-21 📅 创建时间 2025-05-18
360
sentient-engineering/sentient

一个让你用3行代码构建浏览器控制代理的框架/SDK。加入聊天 https://discord.gg/umgnyQU2K8

sentient-engineering
⭐ 565 Python 👤 sentient-engineering Organization 🕐 已更新 2024-10-10 📅 创建时间 2024-09-01
361
jaebradley/basketball_reference_web_scraper

通过 Basketball Reference 的 NBA 统计 API

jaebradley
⭐ 563 HTML 👤 jaebradley User 🕐 已更新 2026-11-21 📅 创建时间 2015-10-23
362
programminghistorian/jekyll

The Programming Historian 的 Jekyll 驱动的静态网站

programminghistorian
⭐ 559 HTML 👤 programminghistorian Organization 🕐 已更新 2026-11-19 📅 创建时间 2013-09-09
363
databay-labs/free-proxy-list

免费代理列表 ✅🚀 HTTP、HTTPS、SOCKS4 和 SOCKS5 | 每5分钟更新一次 | 严格SSL、无MITM、多国

databay-labs
⭐ 557 👤 databay-labs Organization 🕐 已更新 2026-06-20 📅 创建时间 2025-04-25
364
Johell1NS/browser-search

AI 智能体技能:使用 SearXNG 搜索网页,使用 Camofox 浏览,使用 CloakBrowser 绕过防护。设计上防止幻觉。自主托管、免费、无限制。

Johell1NS
⭐ 549 JavaScript 👤 Johell1NS User 🕐 已更新 2026-10-22 📅 创建时间 2026-06-22
366
strohne/Facepager

Facepager 是为从 YouTube、Twitter 和其他网站获取公开可用数据而创建的,基于 API 和网络抓取。

strohne
⭐ 549 Python 👤 strohne User 🕐 已更新 2026-05-17 📅 创建时间 2012-09-26
367
la-deep-web/Phoneinfoga

用于搜索电话号码相关数据的脚本

la-deep-web
⭐ 548 Python 👤 la-deep-web Organization 🕐 已更新 2024-04-24 📅 创建时间 2019-02-24
368
TomoeMami/S1PlainTextBackup

纯文本格式的S1帖子备份

TomoeMami
⭐ 547 Python 👤 TomoeMami User 🕐 已更新 2026-11-21 📅 创建时间 2020-02-02
369
AeternaLabsHQ/pullmd

面向人类和 AI 智能体的自托管 URL 和文件转 Markdown 服务——支持网页、文档、图片、音频和 YouTube。提供 PWA + REST + MCP + Claude Code 技能,兼容 Reddit,并支持可刷新的分享链接。

AeternaLabsHQ
⭐ 528 JavaScript 👤 AeternaLabsHQ Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-04-27
370
qxinGitHub/searchEngineJump

搜索引擎跳转脚本,能够方便的在多个引擎之间跳转

qxinGitHub
⭐ 528 JavaScript 👤 qxinGitHub User 🕐 已更新 2026-04-19 📅 创建时间 2017-02-28
371
Johnserf-Seed/TikTokWeb

TikTokTool 网页版

Johnserf-Seed
⭐ 527 CSS 👤 Johnserf-Seed User 🕐 已更新 2024-01-26 📅 创建时间 2021-07-18
372
luyu0279/BrainyAI

一个免费且开源的浏览器侧边栏插件,它为 Sider、Monica 和 Merlin 等产品提供了一种免费的替代方案。

luyu0279
⭐ 526 TypeScript 👤 luyu0279 User 🕐 已更新 2025-04-08 📅 创建时间 2024-06-11
373
KitePig/FatRat-Collect

胖鼠采集 WordPress优秀开源采集插件

KitePig
⭐ 523 PHP 👤 KitePig User 🕐 已更新 2026-06-03 📅 创建时间 2018-12-04
374
n1tr00-10/tiktok-web-signature

逆向工程 TikTok 网页签名,以生成有效的 TikTok API 请求签名。

n1tr00-10
⭐ 521 Python 👤 n1tr00-10 User 🕐 已更新 2026-10-09 📅 创建时间 2026-10-09
375
liarjsdev/liarjs-skills

用于浏览器指纹测试的 Agent Skills:从 Claude Code、Codex、Cursor 或 Copilot 运行 liarjs,让浏览器与自身进行一致性评分——针对 Canvas、WebGL、WebGPU、音频、字体和 WebRTC 执行 40 项一致性检查,并与 TLS/HTTP 层交叉核对。支持 Playwright 和 Puppeteer 测试框架质量保障、CI 回归门禁以及无头浏览器检测分流。

liarjsdev
⭐ 518 👤 liarjsdev User 🕐 已更新 2026-08-06 📅 创建时间 2026-08-04
376
subinps/Instagram-Bot

用于下载Instagram几乎所有内容的Telegram机器人

subinps
⭐ 513 Python 👤 subinps User 🕐 已更新 2024-04-30 📅 创建时间 2021-05-31
377
oxylabs/quick-start-guide

Python 快速入门指南,助您充分利用 Oxylabs 的 Web Scraper API 免费试用。

oxylabs
⭐ 512 👤 oxylabs Organization 🕐 已更新 2026-06-19 📅 创建时间 2022-03-14
379
AlexMathew/scrapple

用于创建半自动网页内容提取器的框架

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 已更新 2026-01-16 📅 创建时间 2014-12-13
380
oxylabs/web-scraper-api

一站式网页抓取 API,支持实时、大规模数据提取——通过单个请求处理代理、验证码管理、JavaScript 渲染和解析,并返回 HTML 或结构化 JSON。

oxylabs
⭐ 503 👤 oxylabs Organization 🕐 已更新 2026-10-01 📅 创建时间 2026-06-05
381
sansan0/bilibili-comment-analyzer

🎯 哔哩哔哩(bilibili)评论区数据可视化分析软件-- up主可用于指导自己的题材选择,明确自己的粉丝群体

sansan0
⭐ 503 Python 👤 sansan0 User 🕐 已更新 2025-06-27 📅 创建时间 2025-06-03