#web-crawling 仓库
探索 38 个标记为 #web-crawling 的活跃开源 GitHub 仓库,它们累计获得 211,837 个 Star(平均每个项目 5,574 个)。该主题的领先项目是 unclecode/crawl4ai,拥有 87,627 个 Star。
共 38 个仓库
官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。
Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。
Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。
WebCollector 是一个基于 Java 的开源 Web 爬虫框架。它提供了一些简单的 Web 爬取接口,您可以在 5 分钟内设置一个多线程 Web 爬虫。
一个由社区驱动的AI自动化框架,它建立在开源社区的不可思议的工作之上。我们的目标是将语言模型与网络搜索、爬取和Python代码执行等任务的专用工具相结合,同时回馈促成这一可能性的社区。
一个自动化的AI系统(Python框架),旨在利用Claude 3.5 Sonnet API和Firecrawl分析任何类型的网站内容并生成结构化报告。虽然目前已配置用于企业AI案例研究,但该架构可适应各种内容分析需求。
常见问题解答
GitHub 上最受欢迎的 #web-crawling 仓库是什么?
GitHub 上排名第一的开源 #web-crawling 项目是 unclecode/crawl4ai,拥有 87,627 个 Star。官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。
#web-crawling 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #web-crawling 项目中,最常见的编程语言是 Python, TypeScript, JavaScript, Go。
#web-crawling 仓库的排名是如何计算的?
我们跟踪了 38 个标记为 #web-crawling 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 211,837 个 Star,平均每个仓库拥有 5,574 个 Star。排名每日根据 GitHub API 更新。