Git Stars Git Stars

#web-crawling 仓库

探索 38 个标记为 #web-crawling 的活跃开源 GitHub 仓库,它们累计获得 211,837 个 Star(平均每个项目 5,574 个)。该主题的领先项目是 unclecode/crawl4ai,拥有 87,627 个 Star。

38
仓库总数
211,837
总星标数
5,574
平均每个仓库星标数
1
unclecode/crawl4ai

官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 已更新 2026-11-20 📅 创建时间 2024-05-09
2
apify/crawlee

Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-08-26
3
lexmount/moli

最适合 AI 智能体的无头浏览器。轻量、快速、高兼容性。使用 Rust 构建

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-08-10
4
apify/crawlee-python

Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-01-10
5
prerender/prerender

使用Headless Chrome将JavaScript渲染的页面渲染为HTML的Node服务器。与prerender中间件结合使用。

prerender
⭐ 6,577 JavaScript 👤 prerender Organization 🕐 已更新 2026-05-05 📅 创建时间 2013-09-26
6
MontFerret/ferret

用于结构化提取工作流的声明式数据自动化语言和Go运行时。

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 已更新 2026-11-19 📅 创建时间 2018-08-23
7
omkarcloud/botasaurus

构建无敌爬虫的一站式框架

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 已更新 2026-11-13 📅 创建时间 2023-05-09
8
google/robotstxt

该存储库包含 Google 的 robots.txt 解析器和匹配器,作为 C++ 库(符合 C++11)。

google
⭐ 3,478 C++ 👤 google Organization 🕐 已更新 2026-04-01 📅 创建时间 2019-06-11
9
CrawlScript/WebCollector

WebCollector 是一个基于 Java 的开源 Web 爬虫框架。它提供了一些简单的 Web 爬取接口,您可以在 5 分钟内设置一个多线程 Web 爬虫。

CrawlScript
⭐ 3,073 Java 👤 CrawlScript Organization 🕐 已更新 2026-02-10 📅 创建时间 2014-07-12
10
digininja/CeWL

CeWL 是一个自定义词列表生成器

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 已更新 2026-06-24 📅 创建时间 2016-04-22
11
brightdata/brightdata-mcp

一个强大的模型上下文协议 (MCP) 服务器,为公共Web访问提供一站式解决方案。

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 已更新 2026-11-18 📅 创建时间 2025-04-15
12
tavily-ai/tavily-mcp

具有实时搜索、提取、映射和爬取功能的生产就绪MCP服务器。

tavily-ai
⭐ 2,499 TypeScript 👤 tavily-ai Organization 🕐 已更新 2026-11-18 📅 创建时间 2025-01-27
13
dataabc/weibo-search

获取微博搜索结果信息,搜索即可以是微博关键词搜索,也可以是微博话题搜索

dataabc
⭐ 2,340 Python 👤 dataabc User 🕐 已更新 2026-06-05 📅 创建时间 2020-03-25
14
coleam00/mcp-crawl4ai-rag

AI 代理和 AI 编码助手 的 Web 爬行和 RAG 功能

coleam00
⭐ 2,224 Python 👤 coleam00 User 🕐 已更新 2025-07-25 📅 创建时间 2025-05-03
15
zhegexiaohuozi/SeimiCrawler

一个简单、敏捷、分布式的支持SpringBoot的Java爬虫框架;一个敏捷、分布式的爬虫框架。

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 已更新 2026-11-17 📅 创建时间 2015-11-06
16
firecrawl/fireplexity

🔥 开源的类似Perplexity的AI搜索引擎,具有实时引用、流式响应和由Firecrawl驱动的实时数据

firecrawl
⭐ 1,956 TypeScript 👤 firecrawl Organization 🕐 已更新 2025-08-22 📅 创建时间 2025-06-19
17
DanMcInerney/xsscrapy

XSS爬虫 - 66/66 wavsep XSS已检测

DanMcInerney
⭐ 1,731 Python 👤 DanMcInerney User 🕐 已更新 2024-06-13 📅 创建时间 2014-06-23
18
xnl-h4ck3r/xnLinkFinder

一个用于发现端点、潜在参数、针对特定目标的词典以及秘密的 Python 工具。

xnl-h4ck3r
⭐ 1,599 Python 👤 xnl-h4ck3r User 🕐 已更新 2026-03-08 📅 创建时间 2022-04-14
19
submato/xhscrawl

小红书数据,XHS数据采集,小红书逆向,小红书XS逆向,小红书爬虫,小红书数据

submato
⭐ 1,533 👤 submato User 🕐 已更新 2026-11-02 📅 创建时间 2023-07-05
20
ShilongLee/Crawler

抖音爬虫(a_bogus最新版)、快手、哔哩哔哩、小红书、淘宝、京东、微博等平台爬虫开源api接口服务器。docker一键快速部署。

ShilongLee
⭐ 1,490 JavaScript 👤 ShilongLee User 🕐 已更新 2026-10-19 📅 创建时间 2024-05-24
21
wummel/linkchecker

检查网页文档或完整网站中的链接

wummel
⭐ 1,433 Python 👤 wummel User 🕐 已更新 2024-11-07 📅 创建时间 2012-12-19
22
regenrek/deepwiki-mcp

📖 MCP 服务器,用于获取 deepwiki.com 并获取 Cursor 及其他代码编辑器中的最新知识

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 已更新 2026-03-20 📅 创建时间 2025-04-28
23
mvdbos/php-spider

一个可配置且可扩展的 PHP 网络蜘蛛

mvdbos
⭐ 1,338 PHP 👤 mvdbos User 🕐 已更新 2026-11-02 📅 创建时间 2013-02-25
24
scrapinghub/frontera

Web爬虫的可扩展前沿

scrapinghub
⭐ 1,329 Python 👤 scrapinghub Organization 🕐 已更新 2025-06-06 📅 创建时间 2014-11-22
25
Darwin-lfl/langmanus

一个由社区驱动的AI自动化框架,它建立在开源社区的不可思议的工作之上。我们的目标是将语言模型与网络搜索、爬取和Python代码执行等任务的专用工具相结合,同时回馈促成这一可能性的社区。

Darwin-lfl
⭐ 1,317 👤 Darwin-lfl User 🕐 已更新 2025-03-17 📅 创建时间 2025-03-18
26
harlan-zw/mdream

☁️ GitHub 上最快的 HTML 到 Markdown 转换器。针对 LLM 优化并支持流式传输。

harlan-zw
⭐ 1,032 TypeScript 👤 harlan-zw User 🕐 已更新 2026-11-21 📅 创建时间 2025-04-16
27
changfengoss/pub

科学上网工具

changfengoss
⭐ 1,007 👤 changfengoss User 🕐 已更新 2026-10-22 📅 创建时间 2021-08-30
28
tiliondev/fortress

隐身 Chromium 引擎,只需更改一行代码,即可防止爬虫和浏览器代理被拦截。

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 已更新 2026-11-03 📅 创建时间 2026-07-02
29
hyperbrowserai/mcp

Hyperbrowser的MCP服务器实现

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 已更新 2025-11-20 📅 创建时间 2025-02-25
30
rubycdp/vessel

快速的高级 Web 爬取 Ruby 框架

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 已更新 2026-11-03 📅 创建时间 2019-09-17
31
spatie/laravel-export

从 Laravel 应用创建静态站点捆绑包

spatie
⭐ 701 PHP 👤 spatie Organization 🕐 已更新 2026-11-06 📅 创建时间 2019-03-18
32
muratcankoylan/AI-Investigator

一个自动化的AI系统(Python框架),旨在利用Claude 3.5 Sonnet API和Firecrawl分析任何类型的网站内容并生成结构化报告。虽然目前已配置用于企业AI案例研究,但该架构可适应各种内容分析需求。

muratcankoylan
⭐ 679 Python 👤 muratcankoylan User 🕐 已更新 2024-11-05 📅 创建时间 2024-11-04
33
cxcscmu/Craw4LLM

"Craw4LLM:LLM 预训练的高效网络爬取"的官方仓库

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 已更新 2025-02-24 📅 创建时间 2025-02-17
34
ArchiveTeam/wpull

Wget 兼容的 Web 下载器和爬虫。

ArchiveTeam
⭐ 595 HTML 👤 ArchiveTeam Organization 🕐 已更新 2024-04-29 📅 创建时间 2013-12-07
35
unconv/gpt4v-browsing

使用 GPT-4 Vision API 和 Puppeteer 进行网络抓取

unconv
⭐ 563 JavaScript 👤 unconv User 🕐 已更新 2024-01-31 📅 创建时间 2023-11-24
36
detectify/page-fetch

使用无头 Chrome 获取网页,存储所有获取的资源,包括 JavaScript 文件。在多个网页上运行任意 JavaScript 并查看返回值

detectify
⭐ 530 Go 👤 detectify Organization 🕐 已更新 2026-07-03 📅 创建时间 2021-06-03
37
firecrawl/llmstxt-generator

🔥 为任何网站生成 llms.txt 和 llms-full.txt 文件!

firecrawl
⭐ 528 TypeScript 👤 firecrawl Organization 🕐 已更新 2025-06-17 📅 创建时间 2024-11-19
38
brave-people/Dev-Event-Subscribe

🎉🎈 每周通过电子邮件收到的≪ 📧 Dev Event 电子邮件订阅服务 ≫

brave-people
⭐ 512 👤 brave-people Organization 🕐 已更新 2024-06-07 📅 创建时间 2021-02-08

常见问题解答

1

GitHub 上最受欢迎的 #web-crawling 仓库是什么?

GitHub 上排名第一的开源 #web-crawling 项目是 unclecode/crawl4ai,拥有 87,627 个 Star。官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。

2

#web-crawling 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #web-crawling 项目中,最常见的编程语言是 Python, TypeScript, JavaScript, Go。

3

#web-crawling 仓库的排名是如何计算的?

我们跟踪了 38 个标记为 #web-crawling 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 211,837 个 Star,平均每个仓库拥有 5,574 个 Star。排名每日根据 GitHub API 更新。