Git Stars Git Stars

#web-scraping 仓库

探索 381 个标记为 #web-scraping 的活跃开源 GitHub 仓库,它们累计获得 2,147,590 个 Star(平均每个项目 5,636 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。

381
仓库总数
2.1M
总星标数
5,636
平均每个仓库星标数

共 382 个仓库

1
firecrawl/firecrawl

让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-15
2
jackfrued/Python-100-Days

Python - 100天从新手到大师

jackfrued
⭐ 187,961 Jupyter Notebook 👤 jackfrued User 🕐 已更新 2026-07-29 📅 创建时间 2018-03-01
3
ytdl-org/youtube-dl

用于从 YouTube.com 和其他视频网站下载视频的命令行程序

ytdl-org
⭐ 141,627 Python 👤 ytdl-org Organization 🕐 已更新 2026-11-06 📅 创建时间 2010-10-31
4
browser-use/browser-use

面向 AI 浏览器代理的开源 Python 库,以及 Browser Use Cloud:隐身浏览器和托管式代理 API。

browser-use
⭐ 121,654 Python 👤 browser-use Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-10-31
5
D4Vinci/Scrapling

🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 已更新 2026-11-17 📅 创建时间 2024-10-13
6
unclecode/crawl4ai

官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 已更新 2026-11-20 📅 创建时间 2024-05-09
7
NanmiCoder/MediaCrawler

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B站视频 | 评论爬虫、微博帖子 | 评论爬虫、百度贴吧帖子 | 百度贴吧评论回复爬虫 | 知乎问答文章|评论爬虫

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 已更新 2026-11-21 📅 创建时间 2023-06-09
8
scrapy/scrapy

Scrapy,一个快速的高级 Python Web 爬虫和抓取框架。

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 已更新 2026-11-19 📅 创建时间 2010-02-22
9
soimort/you-get

:arrow_double_down: 简单的网页抓取下载器

soimort
⭐ 56,851 Python 👤 soimort User 🕐 已更新 2026-11-15 📅 创建时间 2012-08-20
10
gedoor/legado

Legado 3.0 Book Reader with powerful controls & full functions❤️阅读3.0, 阅读是一款可以自定义来源阅读网络内容的工具,为广大网络文学爱好者提供一种方便、快捷舒适的试读体验。

gedoor
⭐ 47,268 Kotlin 👤 gedoor User 🕐 已更新 2026-05-27 📅 创建时间 2019-05-22
11
JCodesMore/ai-website-cloner-template

使用 AI 编码代理一键克隆任何网站

JCodesMore
⭐ 39,582 TypeScript 👤 JCodesMore User 🕐 已更新 2026-11-10 📅 创建时间 2026-03-13
12
dgtlmoon/changedetection.io

用于网站变更检测、网页监控和网站变更提醒的最佳简易工具。非常适合追踪内容变化、降价、补货提醒和网站篡改——还包含 MCP!全部免费使用,也可以选择我们的 SaaS 套餐!

dgtlmoon
⭐ 35,939 Python 👤 dgtlmoon User 🕐 已更新 2026-11-20 📅 创建时间 2021-01-27
13
CloakHQ/CloakBrowser

能够通过所有机器人检测测试的隐身版 Chromium。可直接替代 Playwright,并包含源码级指纹补丁。已通过 50 多项测试。

CloakHQ
⭐ 33,007 Python 👤 CloakHQ Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-02-22
14
ScrapeGraphAI/Scrapegraph-ai

基于AI的Python爬虫

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 已更新 2026-10-06 📅 创建时间 2024-01-27
15
apify/crawlee

Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-08-26
16
browserbase/stagehand

用于提取数据并与网络上任何网站交互的 SDK。立即开始使用 Claude Code、Codex、Eve、Mastra 等工具。

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-03-24
17
lexmount/moli

最适合 AI 智能体的无头浏览器。轻量、快速、高兼容性。使用 Rust 构建

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-08-10
18
Evil0ctal/Douyin_TikTok_Download_API

🚀 自托管的抖音、TikTok、B 站数据采集与无水印视频下载 API,支持 AI agent 通过 MCP 调用及离线语音转文字,Docker 一键部署。| 自托管的 TikTok、抖音和 B 站数据采集器及无水印视频下载器——异步 REST API、面向 AI agent 的 MCP 服务器、CLI 和 Web 控制台,另支持对已下载视频进行离线语音转文字。身份池可自动修复,使用 PostgreSQL 归档,一条 `docker compose up` 命令即可启动。

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 已更新 2026-11-20 📅 创建时间 2021-11-07
19
getmaxun/maxun

将任何网站转化为结构化 API。提取、自动化、搜索并监控网络内容。

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-10-23
20
MODSetter/SurfSense

隔离网络、注重隐私的开源 NotebookLM 替代方案。一个能够研究、转换和编辑文档的 AI 智能体。加入我们的 Discord:https://discord.gg/ejRNvftDp9

MODSetter
⭐ 16,907 Python 👤 MODSetter User 🕐 已更新 2026-11-14 📅 创建时间 2024-07-30
21
yusufkaraaslan/Skill_Seekers

将文档网站、GitHub 存储库和 PDF 转换为 Claude AI 技能,并具有自动冲突检测功能

yusufkaraaslan
⭐ 15,351 Python 👤 yusufkaraaslan User 🕐 已更新 2026-11-16 📅 创建时间 2025-10-17
22
pjialin/py12306

🚂 12306 购票助手,支持集群,多账号,多任务购票以及 Web 页面管理

pjialin
⭐ 14,960 Python 👤 pjialin User 🕐 已更新 2026-10-01 📅 创建时间 2019-01-07
23
nanobrowser/nanobrowser

用于网页自动化的开源 AI 智能体。使用你已登录的真实浏览器自动处理日常任务。

nanobrowser
⭐ 14,359 TypeScript 👤 nanobrowser Organization 🕐 已更新 2026-11-17 📅 创建时间 2024-12-31
24
seleniumbase/SeleniumBase

快速可靠的浏览器自动化,适用于端到端测试、网页抓取和隐身操作。通过 CDP 模式绕过机器人检测。支持与 pytest、Playwright 和 MCP 集成。

seleniumbase
⭐ 13,272 Python 👤 seleniumbase Organization 🕐 已更新 2026-11-21 📅 创建时间 2014-03-04
25
jiji262/douyin-downloader

一款实用的抖音下载工具,支持单个作品和用户主页批量下载,并提供进度显示、失败重试、SQLite 去重及浏览器回退支持。支持视频、图集、合集和音乐(原声)批量下载。

jiji262
⭐ 12,644 Python 👤 jiji262 User 🕐 已更新 2026-11-21 📅 创建时间 2023-05-25
26
jo-inc/camofox-browser

AI 代理的隐身无头浏览器 — 绕过 Cloudflare、机器人检测和反爬虫。Puppeteer/Playwright 的即插即用替代品。

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 已更新 2026-11-10 📅 创建时间 2026-01-26
27
jhy/jsoup

jsoup:Java HTML 解析器,专为 HTML 编辑、清理、抓取和 XSS 安全而构建。

jhy
⭐ 11,418 Java 👤 jhy User 🕐 已更新 2026-11-18 📅 创建时间 2009-12-19
28
NopeCHALLC/nopecha-extension

您的浏览器的自动化验证码破解器。支持 Selenium、Puppeteer、Playwright 等。

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 已更新 2026-10-02 📅 创建时间 2023-03-23
29
pinchtab/pinchtab

高性能浏览器自动化桥接和多实例编排器,具备先进的隐身注入和实时仪表盘。

pinchtab
⭐ 10,599 Go 👤 pinchtab Organization 🕐 已更新 2026-11-10 📅 创建时间 2026-02-15
30
apify/crawlee-python

Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-01-10
31
scrapinghub/portia

Scrapy 的视觉抓取

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 已更新 2024-06-26 📅 创建时间 2014-03-21
32
nashsu/FreeAskInternet

FreeAskInternet 是一个完全免费、私有且在本地运行的搜索聚合器和答案生成器,使用多个大型语言模型,无需 GPU。用户可以提出问题,系统将进行多引擎搜索,并将搜索结果与大型语言模型结合,根据搜索结果生成答案。全部免费使用。

nashsu
⭐ 8,734 Python 👤 nashsu User 🕐 已更新 2024-04-18 📅 创建时间 2024-04-05
33
cv-cat/Spider_XHS

小红书爬虫数据采集,小红书逆向,私信,直播,小红书全域运营解决方案

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 已更新 2026-10-22 📅 创建时间 2023-08-08
34
cporter202/API-mega-list

这个GitHub仓库是一个强大的API集合,你可以立即开始使用它来构建从简单的自动化到完整的应用程序。GitHub上最有价值的API列表之一——毋庸置疑。💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 已更新 2026-11-19 📅 创建时间 2025-12-09
35
ericchiang/pup

在命令行解析 HTML

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 已更新 2024-05-02 📅 创建时间 2014-09-01
36
mherrmann/helium

使用 Python 的更轻量级网页自动化

mherrmann
⭐ 8,333 Python 👤 mherrmann User 🕐 已更新 2026-10-22 📅 创建时间 2019-11-26
37
gosom/google-maps-scraper

从 Google Maps 抓取数据。提取每个地点的数据,如名称、地址、电话号码、网站 URL、评分、评论数量、纬度和经度、评论、电子邮件等。

gosom
⭐ 8,291 Go 👤 gosom User 🕐 已更新 2026-11-21 📅 创建时间 2023-04-22
38
lorien/awesome-web-scraping

用于网络抓取和数据处理的库、工具和 API 列表。

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 已更新 2026-11-21 📅 创建时间 2015-08-12
39
alirezamika/autoscraper

一款针对 Python 的智能、自动、快速且轻量级的网页抓取器

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 已更新 2026-07-29 📅 创建时间 2020-08-31
40
firecrawl/firecrawl-mcp-server

官方 Firecrawl MCP 服务器,面向 AI 智能体的上下文 API:通过任意 MCP 客户端搜索、抓取并与 Web 交互,还可解析、爬取、映射,并使用 Agent 和 Monitor。

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-12-06
41
WECENG/ticket-purchase

大麦自动抢票,支持人员、城市、日期场次、价格选择

WECENG
⭐ 7,844 Python 👤 WECENG User 🕐 已更新 2026-05-14 📅 创建时间 2023-10-12
42
mgdm/htmlq

类似于 jq,但用于 HTML。

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 已更新 2026-05-27 📅 创建时间 2019-05-07
43
go-rod/rod

用于网页自动化和抓取的 Chrome DevTools 协议驱动程序。

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 已更新 2026-08-11 📅 创建时间 2020-01-21
44
adbar/trafilatura

Python 和命令行工具,用于从网络上收集文本和元数据:爬取、抓取、提取,以 CSV、JSON、HTML、MD、TXT、XML 输出

adbar
⭐ 7,157 Python 👤 adbar User 🕐 已更新 2026-11-20 📅 创建时间 2019-04-08
45
autoscrape-labs/pydoll

Pydoll 是一个用于自动化基于 Chromium 的浏览器而无需 WebDriver 的库,可提供逼真的交互。

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 已更新 2026-11-08 📅 创建时间 2024-10-27
46
lexiforest/curl_cffi

通过 cffi 实现 curl-impersonate 分支的 Python 绑定。一个可以模拟浏览器 TLS/ja3/http2 指纹的 http 客户端。

lexiforest
⭐ 6,909 Python 👤 lexiforest User 🕐 已更新 2026-11-21 📅 创建时间 2022-03-10
47
browser-act/skills

为AI代理构建的浏览器自动化CLI。突破反机器人壁垒,卡住时跨平台移交给人类。并行多任务执行,独立多会话操作,隔离多账户浏览。

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 已更新 2026-11-04 📅 创建时间 2026-02-06
48
nickscamara/open-deep-research

一个开源的深度研究克隆。使用Firecrawl提取大量网络数据并进行推理的AI代理。

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 已更新 2025-05-07 📅 创建时间 2025-02-03
49
MontFerret/ferret

用于结构化提取工作流的声明式数据自动化语言和Go运行时。

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 已更新 2026-11-19 📅 创建时间 2018-08-23
50
RedSiege/EyeWitness

EyeWitness 旨在截取网站屏幕截图,提供一些服务器标头信息,并在可能的情况下识别默认凭据。

RedSiege
⭐ 5,906 Python 👤 RedSiege Organization 🕐 已更新 2026-01-05 📅 创建时间 2014-02-26

常见问题解答

1

GitHub 上最受欢迎的 #web-scraping 仓库是什么?

GitHub 上排名第一的开源 #web-scraping 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

2

#web-scraping 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #web-scraping 项目中,最常见的编程语言是 Python, TypeScript, JavaScript, Go。

3

#web-scraping 仓库的排名是如何计算的?

我们跟踪了 381 个标记为 #web-scraping 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 2,147,590 个 Star,平均每个仓库拥有 5,636 个 Star。排名每日根据 GitHub API 更新。