#web-scraping 仓库
探索 381 个标记为 #web-scraping 的活跃开源 GitHub 仓库,它们累计获得 2,147,590 个 Star(平均每个项目 5,636 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。
共 382 个仓库
🕷️ 最强大的网页抓取框架,无论是单个请求还是大规模爬取,都能轻松应对!别害羞,加入我们的 Discord:https://discord.gg/EMgGbDceNQ,并关注我们的账号,每天获取实用技巧:https://x.com/Scrapling_dev
官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。
小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B站视频 | 评论爬虫、微博帖子 | 评论爬虫、百度贴吧帖子 | 百度贴吧评论回复爬虫 | 知乎问答文章|评论爬虫
Legado 3.0 Book Reader with powerful controls & full functions❤️阅读3.0, 阅读是一款可以自定义来源阅读网络内容的工具,为广大网络文学爱好者提供一种方便、快捷舒适的试读体验。
用于网站变更检测、网页监控和网站变更提醒的最佳简易工具。非常适合追踪内容变化、降价、补货提醒和网站篡改——还包含 MCP!全部免费使用,也可以选择我们的 SaaS 套餐!
Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。
🚀 自托管的抖音、TikTok、B 站数据采集与无水印视频下载 API,支持 AI agent 通过 MCP 调用及离线语音转文字,Docker 一键部署。| 自托管的 TikTok、抖音和 B 站数据采集器及无水印视频下载器——异步 REST API、面向 AI agent 的 MCP 服务器、CLI 和 Web 控制台,另支持对已下载视频进行离线语音转文字。身份池可自动修复,使用 PostgreSQL 归档,一条 `docker compose up` 命令即可启动。
隔离网络、注重隐私的开源 NotebookLM 替代方案。一个能够研究、转换和编辑文档的 AI 智能体。加入我们的 Discord:https://discord.gg/ejRNvftDp9
快速可靠的浏览器自动化,适用于端到端测试、网页抓取和隐身操作。通过 CDP 模式绕过机器人检测。支持与 pytest、Playwright 和 MCP 集成。
一款实用的抖音下载工具,支持单个作品和用户主页批量下载,并提供进度显示、失败重试、SQLite 去重及浏览器回退支持。支持视频、图集、合集和音乐(原声)批量下载。
Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。
FreeAskInternet 是一个完全免费、私有且在本地运行的搜索聚合器和答案生成器,使用多个大型语言模型,无需 GPU。用户可以提出问题,系统将进行多引擎搜索,并将搜索结果与大型语言模型结合,根据搜索结果生成答案。全部免费使用。
这个GitHub仓库是一个强大的API集合,你可以立即开始使用它来构建从简单的自动化到完整的应用程序。GitHub上最有价值的API列表之一——毋庸置疑。💪
从 Google Maps 抓取数据。提取每个地点的数据,如名称、地址、电话号码、网站 URL、评分、评论数量、纬度和经度、评论、电子邮件等。
官方 Firecrawl MCP 服务器,面向 AI 智能体的上下文 API:通过任意 MCP 客户端搜索、抓取并与 Web 交互,还可解析、爬取、映射,并使用 Agent 和 Monitor。
通过 cffi 实现 curl-impersonate 分支的 Python 绑定。一个可以模拟浏览器 TLS/ja3/http2 指纹的 http 客户端。
常见问题解答
GitHub 上最受欢迎的 #web-scraping 仓库是什么?
GitHub 上排名第一的开源 #web-scraping 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。
#web-scraping 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #web-scraping 项目中,最常见的编程语言是 Python, TypeScript, JavaScript, Go。
#web-scraping 仓库的排名是如何计算的?
我们跟踪了 381 个标记为 #web-scraping 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 2,147,590 个 Star,平均每个仓库拥有 5,636 个 Star。排名每日根据 GitHub API 更新。