Git Stars Git Stars

#web-crawler 仓库

探索 39 个标记为 #web-crawler 的活跃开源 GitHub 仓库,它们累计获得 470,326 个 Star(平均每个项目 12,059 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。

39
仓库总数
470,326
总星标数
12,059
平均每个仓库星标数
1
firecrawl/firecrawl

让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-15
2
unclecode/crawl4ai

官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 已更新 2026-11-20 📅 创建时间 2024-05-09
3
ScrapeGraphAI/Scrapegraph-ai

基于AI的Python爬虫

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 已更新 2026-10-06 📅 创建时间 2024-01-27
4
apify/crawlee

Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-08-26
5
lexmount/moli

最适合 AI 智能体的无头浏览器。轻量、快速、高兼容性。使用 Rust 构建

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-08-10
6
crawlab-team/crawlab

分布式爬虫管理平台,支持任何语言和框架

crawlab-team
⭐ 12,301 Go 👤 crawlab-team Organization 🕐 已更新 2026-02-10 📅 创建时间 2019-02-10
7
apify/crawlee-python

Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。

apify
⭐ 9,679 Python 👤 apify Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-01-10
8
adithya-s-k/omniparse

摄取、解析和优化任何数据格式 ➡️ 从文档到多媒体 ➡️ 以增强与 GenAI 框架的兼容性

adithya-s-k
⭐ 7,935 Python 👤 adithya-s-k User 🕐 已更新 2025-12-12 📅 创建时间 2024-06-04
9
firecrawl/firecrawl-mcp-server

官方 Firecrawl MCP 服务器,面向 AI 智能体的上下文 API:通过任意 MCP 客户端搜索、抓取并与 Web 交互,还可解析、爬取、映射,并使用 Agent 和 Monitor。

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-12-06
10
BruceDone/awesome-crawler

各种语言中优秀的网络爬虫和蜘蛛的合集

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 已更新 2024-06-16 📅 创建时间 2016-10-10
11
KnockOutEZ/wigolo

您的AI编码代理的首选网络——通过MCP进行本地优先的搜索、获取、爬取和研究。无需API密钥,无需云端,每查询0美元。公开测试版。

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 已更新 2026-11-21 📅 创建时间 2026-04-12
12
divinelabio/Argus

终极信息收集工具包

divinelabio
⭐ 4,348 Python 👤 divinelabio User 🕐 已更新 2025-12-10 📅 创建时间 2024-10-01
13
Anakin-Inc/anakin

开源网页抓取 API。将任何网站转换为整洁的 Markdown 或结构化 JSON。具备反检测浏览器、自动代理选择、支持自托管。一条命令即可:make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 已更新 2026-08-18 📅 创建时间 2026-03-17
14
apache/nutch

Apache Nutch 是一个可扩展且可伸缩的网络爬虫

apache
⭐ 3,311 Java 👤 apache Organization 🕐 已更新 2026-11-17 📅 创建时间 2009-05-21
15
oxylabs/ai-crawler-py

从一个 URL 开始爬取网站,找到相关页面,并提取数据——所有这一切都由你的自然语言提示来指导。

oxylabs
⭐ 3,264 👤 oxylabs Organization 🕐 已更新 2026-08-21 📅 创建时间 2025-09-17
16
spider-rs/spider

使用 Rust 实现基础低延迟网页数据采集

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-01-07
17
0xMassi/webclaw

快速、本地优先的网页内容提取,专为LLM设计。从Rust中抓取、爬取、提取结构化数据 — CLI、REST API和MCP服务器。

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 已更新 2026-11-21 📅 创建时间 2026-03-10
18
sjdirect/abot

为速度和灵活性而构建的跨平台 C# Web 爬虫框架。请给这个项目加星!+1。

sjdirect
⭐ 2,308 C# 👤 sjdirect User 🕐 已更新 2026-07-17 📅 创建时间 2013-08-08
19
MarginaliaSearch/MarginaliaSearch

面向文本网站的搜索引擎。索引那些小型、古老和怪异的网络。

MarginaliaSearch
⭐ 2,241 Java 👤 MarginaliaSearch Organization 🕐 已更新 2026-11-18 📅 创建时间 2023-03-20
20
gildas-lormeau/single-file-cli

用于将完整的网页保存为单个 HTML 文件(基于 SingleFile)的忠实副本的 CLI 工具

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 已更新 2026-11-18 📅 创建时间 2022-05-31
21
gigablast/open-source-search-engine

2017 年 11 月 20 日 -- 一个分布式开源搜索引擎和蜘蛛/爬虫,用 C/C++ 编写,适用于 Intel/AMD 上的 Linux。从 gigablast dot com 下载二进制文件。请参阅本页面最底部的 README.md 文件以获取说明。

gigablast
⭐ 1,599 C++ 👤 gigablast User 🕐 已更新 2024-01-10 📅 创建时间 2013-08-02
22
GBSOSS/skill-from-masters

站在巨人的肩膀上——利用领域专家验证过的方法创建 AI 技能。

GBSOSS
⭐ 1,592 👤 GBSOSS Organization 🕐 已更新 2026-02-16 📅 创建时间 2026-01-08
23
JustinBeckwith/linkinator

抓取网站并验证链接的死链检查器。在网站、文档和本地文件中查找断开的链接、无效链接和无效 URL。非常适合 SEO 审计和 CI/CD。

JustinBeckwith
⭐ 1,290 TypeScript 👤 JustinBeckwith User 🕐 已更新 2026-11-20 📅 创建时间 2019-02-12
24
fastcrw/crw

基于 Rust 的快速、轻量级 Firecrawl/Tavily 替代方案。包含用于 AI 代理的 MCP 服务器的网页抓取、爬虫和搜索 API。提供与 Firecrawl 兼容的直接替换 API(/scrape, /crawl, /search)。在 1K URL 基准测试中,速度比 Tavily 快 2.3 倍,比 Firecrawl 快 1.5 倍。仅需 6 MB 内存,单个二进制文件。支持自托管或使用托管云服务。

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-03-02
25
webrecorder/browsertrix-crawler

在单个 Docker 容器中运行高保真浏览器网页归档爬虫

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 已更新 2026-11-19 📅 创建时间 2020-11-02
26
PhialsBasement/LibreCrawl

免费桌面SEO爬虫 - Screaming Frog 和类似工具的开源替代品。爬取网站、分析链接、提取SEO数据并导出结果,无需订阅费用。完全可自定义和可扩展!

PhialsBasement
⭐ 1,133 Python 👤 PhialsBasement User 🕐 已更新 2026-11-10 📅 创建时间 2025-09-27
27
scrapfly/scrapfly-scrapers

适用于 80 多个热门网站的可扩展 Python 网页抓取脚本

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-05-22
28
apache/stormcrawler

一个基于 Apache Storm 的可扩展、成熟且多功能的网络爬虫

apache
⭐ 1,014 Java 👤 apache Organization 🕐 已更新 2026-11-17 📅 创建时间 2013-04-12
29
RimoChan/sese-engine

【sese-engine】新时代的搜索引擎!

RimoChan
⭐ 952 Python 👤 RimoChan User 🕐 已更新 2025-05-10 📅 创建时间 2022-01-09
30
firecrawl/firecrawl-app-examples

🔥 此存储库包含使用 Firecrawl 开发的完整应用程序示例,包括网站和其他项目。

firecrawl
⭐ 847 Jupyter Notebook 👤 firecrawl Organization 🕐 已更新 2026-01-13 📅 创建时间 2024-06-22
31
postmodern/spidr

一个多功能的 Ruby Web 爬虫库,可以爬取一个站点、多个域、特定链接或无限期。Spidr 设计为快速且易用。

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 已更新 2026-01-12 📅 创建时间 2009-03-08
32
johnlui/DIYSearchEngine

🔍 Go 开发的开源互联网搜索引擎,附教程《自己动手开发互联网搜索引擎》

johnlui
⭐ 706 Go 👤 johnlui User 🕐 已更新 2026-08-27 📅 创建时间 2023-07-01
33
Team-intN18-SoybeanSeclab/Phantom

一款面向SRC漏洞挖掘中,页面信息收集场景的浏览器扩展,自动收集页面及相关资源中的敏感信息与可疑线索,支持基础扫描、深度递归扫描、批量 API 测试及结果导出与自定义正则配置

Team-intN18-SoybeanSeclab
⭐ 696 JavaScript 👤 Team-intN18-SoybeanSeclab Organization 🕐 已更新 2026-09-16 📅 创建时间 2025-08-21
34
Madi-S/Lead-Generation

一个 Python 脚本,让没有编程背景的人也能大规模获取高质量潜在客户。本仓库将包含各种用于潜在客户开发的灵活技术。

Madi-S
⭐ 693 Python 👤 Madi-S User 🕐 已更新 2026-09-23 📅 创建时间 2020-12-14
35
cxcscmu/Craw4LLM

"Craw4LLM:LLM 预训练的高效网络爬取"的官方仓库

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 已更新 2025-02-24 📅 创建时间 2025-02-17
36
vakra-dev/reader

面向 AI 的开源网络基础设施。抓取、爬取并自动化网络,清理 Markdown,浏览器会话,已为您的代理准备就绪。

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 已更新 2026-10-06 📅 创建时间 2026-01-07
37
jpjacobpadilla/Stealth-Requests

Python 中难以被检测的网页抓取与无缝 HTML 解析!

jpjacobpadilla
⭐ 570 Python 👤 jpjacobpadilla User 🕐 已更新 2026-09-19 📅 创建时间 2024-08-04
38
lefterisloukas/edgar-crawler

唯一能够下载SEC EDGAR财务报告并从特定项目部分提取文本数据到整洁结构化JSON文件的开源工具包。在2025年WWW大会@澳大利亚悉尼呈现(https://dl.acm.org/doi/10.1145/3701716.3715289)

lefterisloukas
⭐ 535 Python 👤 lefterisloukas User 🕐 已更新 2025-07-18 📅 创建时间 2021-09-24
39
erevus-cn/pocscan

成为 niubility 扫描框架的意志

erevus-cn
⭐ 520 Python 👤 erevus-cn User 🕐 已更新 2025-07-01 📅 创建时间 2016-02-02

常见问题解答

1

GitHub 上最受欢迎的 #web-crawler 仓库是什么?

GitHub 上排名第一的开源 #web-crawler 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。

2

#web-crawler 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #web-crawler 项目中,最常见的编程语言是 Python, TypeScript, Rust, Go。

3

#web-crawler 仓库的排名是如何计算的?

我们跟踪了 39 个标记为 #web-crawler 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 470,326 个 Star,平均每个仓库拥有 12,059 个 Star。排名每日根据 GitHub API 更新。