#web-scraper 仓库
探索 36 个标记为 #web-scraper 的活跃开源 GitHub 仓库,它们累计获得 565,282 个 Star(平均每个项目 15,702 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。
共 36 个仓库
让你的 AI 代理能全方位观察互联网。阅读并搜索 Twitter、Reddit、YouTube、GitHub、Bilibili、XiaoHongShu——仅使用一条命令行,零 API 费用。
🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev
专业级、本地优先的浏览器扩展,可完全在浏览器运行环境中将任意网页转换为高保真、适合大语言模型处理的 Markdown。零云端、以隐私为核心,专为 AI 工作流打造。
使用 Python 和 Oxylabs SERP Scraper API 从 Google Scholar 提取标题、作者和引用的指南。
使用 Python 和 Oxylabs E-Commerce Scraper API 从 Amazon 提取畅销商品、搜索结果和当前可用优惠的 Python 代码。
基于 Rust 的快速、轻量级 Firecrawl/Tavily 替代方案。包含用于 AI 代理的 MCP 服务器的网页抓取、爬虫和搜索 API。提供与 Firecrawl 兼容的直接替换 API(/scrape, /crawl, /search)。在 1K URL 基准测试中,速度比 Tavily 快 2.3 倍,比 Firecrawl 快 1.5 倍。仅需 6 MB 内存,单个二进制文件。支持自托管或使用托管云服务。
AI Scraper 是一个强大的抓取工具和抓取代理,旨在以无与伦比的精度自动化数据提取。非常适合在各种网络来源上进行可扩展的 AI 抓取任务,该工具将复杂的抓取操作简化为高效、智能的工作流程。
100% 免费且完全开源的 Firecrawl edge 替代品,具有更好的链接提取功能,适用于代理 - 您可以自行部署到 Cloudflare 或 Vercel。
一站式网页抓取 API,支持实时、大规模数据提取——通过单个请求处理代理、验证码管理、JavaScript 渲染和解析,并返回 HTML 或结构化 JSON。
常见问题解答
GitHub 上最受欢迎的 #web-scraper 仓库是什么?
GitHub 上排名第一的开源 #web-scraper 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。
#web-scraper 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #web-scraper 项目中,最常见的编程语言是 Python, TypeScript, Rust, Go。
#web-scraper 仓库的排名是如何计算的?
我们跟踪了 36 个标记为 #web-scraper 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 565,282 个 Star,平均每个仓库拥有 15,702 个 Star。排名每日根据 GitHub API 更新。