#web-crawler 仓库
探索 39 个标记为 #web-crawler 的活跃开源 GitHub 仓库,它们累计获得 470,326 个 Star(平均每个项目 12,059 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。
共 39 个仓库
官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。
Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。
Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。
官方 Firecrawl MCP 服务器,面向 AI 智能体的上下文 API:通过任意 MCP 客户端搜索、抓取并与 Web 交互,还可解析、爬取、映射,并使用 Agent 和 Monitor。
2017 年 11 月 20 日 -- 一个分布式开源搜索引擎和蜘蛛/爬虫,用 C/C++ 编写,适用于 Intel/AMD 上的 Linux。从 gigablast dot com 下载二进制文件。请参阅本页面最底部的 README.md 文件以获取说明。
基于 Rust 的快速、轻量级 Firecrawl/Tavily 替代方案。包含用于 AI 代理的 MCP 服务器的网页抓取、爬虫和搜索 API。提供与 Firecrawl 兼容的直接替换 API(/scrape, /crawl, /search)。在 1K URL 基准测试中,速度比 Tavily 快 2.3 倍,比 Firecrawl 快 1.5 倍。仅需 6 MB 内存,单个二进制文件。支持自托管或使用托管云服务。
免费桌面SEO爬虫 - Screaming Frog 和类似工具的开源替代品。爬取网站、分析链接、提取SEO数据并导出结果,无需订阅费用。完全可自定义和可扩展!
一款面向SRC漏洞挖掘中,页面信息收集场景的浏览器扩展,自动收集页面及相关资源中的敏感信息与可疑线索,支持基础扫描、深度递归扫描、批量 API 测试及结果导出与自定义正则配置
唯一能够下载SEC EDGAR财务报告并从特定项目部分提取文本数据到整洁结构化JSON文件的开源工具包。在2025年WWW大会@澳大利亚悉尼呈现(https://dl.acm.org/doi/10.1145/3701716.3715289)
常见问题解答
GitHub 上最受欢迎的 #web-crawler 仓库是什么?
GitHub 上排名第一的开源 #web-crawler 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。
#web-crawler 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #web-crawler 项目中,最常见的编程语言是 Python, TypeScript, Rust, Go。
#web-crawler 仓库的排名是如何计算的?
我们跟踪了 39 个标记为 #web-crawler 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 470,326 个 Star,平均每个仓库拥有 12,059 个 Star。排名每日根据 GitHub API 更新。