Git Stars Git Stars

#web-scraping 仓库

381
仓库总数
2.1M
总星标数
5,636
平均每个仓库星标数

共 382 个仓库

51
matthewmueller/x-ray

下一个网络爬虫。洞悉<html>中的噪音。

matthewmueller
⭐ 5,899 JavaScript 👤 matthewmueller User 🕐 已更新 2026-08-31 📅 创建时间 2015-02-05
52
omkarcloud/botasaurus

构建无敌爬虫的一站式框架

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 已更新 2026-11-13 📅 创建时间 2023-05-09
53
executeautomation/mcp-playwright

Playwright Model Context Protocol Server - 用于在 Claude Desktop、Cline、Cursor IDE 等中自动化浏览器和 API 的工具 🔌

executeautomation
⭐ 5,681 TypeScript 👤 executeautomation User 🕐 已更新 2025-12-13 📅 创建时间 2024-12-03
54
KnockOutEZ/wigolo

您的AI编码代理的首选网络——通过MCP进行本地优先的搜索、获取、爬取和研究。无需API密钥,无需云端,每查询0美元。公开测试版。

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 已更新 2026-11-21 📅 创建时间 2026-04-12
55
Kaliiiiiiiiii-Vinyzu/patchright

Playwright 测试和自动化库的未检测版本。

Kaliiiiiiiiii-Vinyzu
⭐ 5,227 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 已更新 2026-11-13 📅 创建时间 2023-11-07
56
Manavarya09/design-extract

使用一条命令提取任何网站的完整设计系统。DTCG tokens,语义+基础+复合,Claude Code/Cursor/Windsurf 的 MCP 服务器,多平台发射器(iOS SwiftUI、Android Compose、Flutter、WordPress),Tailwind v4,Figma 变量,shadcn/ui,CSS 健康审计,WCAG 修复,Chrome 扩展。MIT,Playwright,Node 20+。

Manavarya09
⭐ 5,180 HTML 👤 Manavarya09 User 🕐 已更新 2026-11-18 📅 创建时间 2026-04-15
57
ultrafunkamsterdam/nodriver

Undetected-Chromedriver 的后继者。为网站自动化、网络爬取、机器人以及任何其他通常会受到 Captcha / CloudFlare / Imperva / hCaptcha 等烦人的反机器人系统阻碍的创意想法提供闪电般快速的框架。

ultrafunkamsterdam
⭐ 4,950 Python 👤 ultrafunkamsterdam User 🕐 已更新 2026-10-26 📅 创建时间 2024-02-20
58
jaypyles/Scraperr

自托管网页抓取器。

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 已更新 2025-10-12 📅 创建时间 2024-07-06
59
NanmiCoder/CrawlerTutorial

爬虫入门、爬虫进阶、高级爬虫

NanmiCoder
⭐ 4,873 Python 👤 NanmiCoder User 🕐 已更新 2026-04-03 📅 创建时间 2024-03-24
60
request/request-promise

支持 Promise 的简化 HTTP 请求客户端 'request'。由 Bluebird 提供支持。

request
⭐ 4,734 JavaScript 👤 request Organization 🕐 已更新 2024-01-31 📅 创建时间 2013-10-04
61
REMitchell/python-scraping

来自书籍《Web Scraping with Python》的代码样本 http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 已更新 2024-06-01 📅 创建时间 2015-06-14
62
AhmadHassan-BTed/Noria

一款面向消息平台的智能代理信息提取工具。Noria 通过聊天接收消息和 URL,抓取网页数据,并根据自定义评分矩阵(如职位、奖学金)评估内容,然后将包含计算所得匹配分数的结构化摘要直接发送到指定的消息账号。

AhmadHassan-BTed
⭐ 4,624 JavaScript 👤 AhmadHassan-BTed User 🕐 已更新 2026-11-10 📅 创建时间 2026-05-31
63
linsomniac/spotify_to_ytmusic

将 Spotify 的播放列表和喜欢的音乐复制到 YTMusic

linsomniac
⭐ 4,588 Python 👤 linsomniac User 🕐 已更新 2026-04-13 📅 创建时间 2023-12-22
64
0xHJK/music-dl

search and download music 从网易云音乐、QQ音乐、酷狗音乐、百度音乐、虾米音乐、咪咕音乐等搜索和下载歌曲

0xHJK
⭐ 4,423 Python 👤 0xHJK User 🕐 已更新 2025-08-12 📅 创建时间 2019-01-08
65
ssut/py-googletrans

(非官方) Googletrans:Python 的免费且无限 Google 翻译 API。完全免费翻译。

ssut
⭐ 4,303 Python 👤 ssut User 🕐 已更新 2026-08-08 📅 创建时间 2015-06-05
66
RookieEnough/Orion-Store

开源与净化应用的理想之选。OrionStore 让你即刻畅享 YouTube Morphe、YT Music Morphe 及必备开源工具,告别繁杂体验。无需服务器,不追踪数据,只为你喜爱的应用提供一个简洁美观、现代化的入口。

RookieEnough
⭐ 4,285 Kotlin 👤 RookieEnough User 🕐 已更新 2026-11-19 📅 创建时间 2025-11-28
67
scrapinghub/splash

轻量级、可脚本化的浏览器即服务,带有 HTTP API

scrapinghub
⭐ 4,197 Python 👤 scrapinghub Organization 🕐 已更新 2024-08-02 📅 创建时间 2013-05-20
68
kalil0321/reverse-api-engineer

将任意网站逆向工程为带类型的 API 客户端。支持 Claude Code、Codex、Cursor 和 OpenCode。

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 已更新 2026-11-21 📅 创建时间 2025-12-23
69
snooppr/snoop

Snoop — 一个基于开源数据的情报工具(OSINT)

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 已更新 2026-11-20 📅 创建时间 2020-02-14
70
IonicaBizau/scrape-it

🔮 一个面向人类的 Node.js 爬虫。

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 已更新 2026-11-20 📅 创建时间 2016-04-28
71
ericciarla/trendFinder

利用 AI 了解社交媒体和网络上的热门话题

ericciarla
⭐ 4,016 TypeScript 👤 ericciarla User 🕐 已更新 2025-02-17 📅 创建时间 2024-12-31
72
osnr/TabFS

🗄 将您的浏览器标签页挂载为文件系统。

osnr
⭐ 3,916 JavaScript 👤 osnr User 🕐 已更新 2024-12-28 📅 创建时间 2019-02-26
73
Samueli924/chaoxing

超星学习通/超星尔雅/泛雅超星全自动无人值守完成任务点

Samueli924
⭐ 3,883 Python 👤 Samueli924 User 🕐 已更新 2026-09-28 📅 创建时间 2020-11-20
74
sentient-agi/OpenDeepSearch

SOTA搜索驱动的LLM

sentient-agi
⭐ 3,824 Python 👤 sentient-agi Organization 🕐 已更新 2025-04-04 📅 创建时间 2025-03-20
75
edoardottt/cariddi

获取域名列表,抓取URL,并扫描端点、密钥、API密钥、文件扩展名、令牌等。

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 已更新 2026-11-19 📅 创建时间 2021-04-27
76
3441293738/creatorhub

多平台内容监控·采集·搬运 一个 Web 面板管起抖音 / 小红书 / 快手 / 视频号 / TikTok / 哔哩哔哩 / Instagram / 海外小红书(rednote)

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 已更新 2026-11-21 📅 创建时间 2026-07-03
77
Anakin-Inc/anakin

开源网页抓取 API。将任何网站转换为整洁的 Markdown 或结构化 JSON。具备反检测浏览器、自动代理选择、支持自托管。一条命令即可:make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 已更新 2026-08-18 📅 创建时间 2026-03-17
78
cv-cat/DouYin_Spider

抖音逆向,抖音爬虫,抖音全部api、私信、直播间监听

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 已更新 2026-10-23 📅 创建时间 2023-10-17
79
oxylabs/amazon-scraper

免费试用 Amazon Scraper API,用于提取搜索、产品、报价列表、评论、问答、畅销书和卖家数据。

oxylabs
⭐ 3,417 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2022-11-29
81
oxylabs/oxylabs-ai-studio-py

使用人工智能驱动的抓取工具、爬虫和浏览器自动化从任何网站收集结构化数据。使用自然语言提示进行抓取和爬取。为您的LLM代理配备最新数据。用于智能网页数据收集的AI Studio python SDK。

oxylabs
⭐ 3,394 Python 👤 oxylabs Organization 🕐 已更新 2026-08-21 📅 创建时间 2025-06-17
82
vibheksoni/stealth-browser-mcp

通过 MCP 和 Chrome DevTools 协议为 AI 代理提供隐蔽的浏览器自动化:导航、网络钩子、DOM 提取以及像素级精准的 UI 克隆。

vibheksoni
⭐ 3,384 Python 👤 vibheksoni User 🕐 已更新 2026-11-20 📅 创建时间 2025-08-09
83
php-curl-class/php-curl-class

PHP Curl Class 使发送 HTTP 请求并与 Web API 集成变得容易。

php-curl-class
⭐ 3,293 PHP 👤 php-curl-class Organization 🕐 已更新 2026-11-17 📅 创建时间 2013-08-16
84
Virtual-Browser/VirtualBrowser

免费防指纹浏览器, 指纹浏览器, 隐私浏览器, 防识别浏览器, 反识别浏览器, 防关联浏览器, 免费的web3空投专用指纹浏览器 https://virtualbrowser.cc/?src=github

Virtual-Browser
⭐ 3,282 Vue 👤 Virtual-Browser User 🕐 已更新 2026-10-16 📅 创建时间 2023-05-20
85
hydrusnetwork/hydrus

一个个人化的 booru 风格媒体标签器,可以从您的硬盘和流行网站导入文件和标签。内容可以通过用户运行的服务器与其他用户共享。

hydrusnetwork
⭐ 3,276 Python 👤 hydrusnetwork User 🕐 已更新 2026-11-18 📅 创建时间 2013-02-19
86
oxylabs/how-to-scrape-amazon-product-data

使用 Python 从亚马逊提取产品数据的过程,包括标题、评分、价格、图片和描述。

oxylabs
⭐ 3,248 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-09-03
87
mitsuhiko/agent-stuff

这些是我与代理(主要是Claude)一起使用的命令。

mitsuhiko
⭐ 3,223 TypeScript 👤 mitsuhiko User 🕐 已更新 2026-09-27 📅 创建时间 2025-11-02
88
scrapy/scrapyd

一个运行 Scrapy 蜘蛛的服务守护进程

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 已更新 2026-10-23 📅 创建时间 2013-02-01
90
langchain-ai/social-media-agent

📲 用于 sourcing、curating 和 scheduling 社交媒体帖子的代理,并包含人工审核。

langchain-ai
⭐ 3,045 TypeScript 👤 langchain-ai Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-11-21
91
TheBlewish/Automated-AI-Web-Researcher-Ollama

一个 Python 程序,可以将运行在 Ollama 上的 LLM 转变为一个自动化研究员,该程序只需一次查询即可确定要调查的重点领域,进行网络搜索,抓取来自各种相关网站的内容,并自主为您进行研究!不仅如此,还包括为您保存研究成果!

TheBlewish
⭐ 3,019 Python 👤 TheBlewish User 🕐 已更新 2026-09-02 📅 创建时间 2024-11-20
93
vladkens/twscrape

用于X/Twitter数据抓取的Python库和命令行工具,支持多账户轮换和内置速率限制处理。

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 已更新 2026-11-19 📅 创建时间 2023-05-05
94
rust-headless-chrome/rust-headless-chrome

一个用于通过 DevTools 协议控制无头 Chrome 或 Chromium 的高级 API。它是 Puppeteer 的 Rust 等价物,Puppeteer 是由 Chrome DevTools 团队维护的 Node 库。

rust-headless-chrome
⭐ 2,960 Rust 👤 rust-headless-chrome Organization 🕐 已更新 2026-06-11 📅 创建时间 2018-09-18
95
oxylabs/how-to-scrape-google-trends

学习如何使用 Python 和 Oxylabs SERP API 一步步抓取 Google 趋势数据并进行结果比较。提取关键词、它们的热度、按地区细分、相关查询等信息。

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-08-06
96
digininja/CeWL

CeWL 是一个自定义词列表生成器

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 已更新 2026-06-24 📅 创建时间 2016-04-22
97
spider-rs/spider

使用 Rust 实现基础低延迟网页数据采集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-01-07
98
Geniusay/ChopperBot

虎牙,斗鱼,抖音,BiliBili,TikTok,Twitch🔥热门🔥智能直播视频剪辑发布AI机器人,自动化🤖,全智能化⚙(智能生成切片,标题,封面,简介),可视化👓,平台热门监控🌡,丰富插件随意扩展🕹,快速部署⚡,视频账号打造自动发布🌟,支持DIY🎮

Geniusay
⭐ 2,758 Java 👤 Geniusay User 🕐 已更新 2025-08-04 📅 创建时间 2023-04-27
99
levywang/avhub

R18 资源搜索与管理工具

levywang
⭐ 2,742 Vue 👤 levywang User 🕐 已更新 2026-04-18 📅 创建时间 2025-03-07
100
brightdata/brightdata-mcp

一个强大的模型上下文协议 (MCP) 服务器,为公共Web访问提供一站式解决方案。

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 已更新 2026-11-18 📅 创建时间 2025-04-15