#scraper 仓库
探索 128 个标记为 #scraper 的活跃开源 GitHub 仓库,它们累计获得 792,441 个 Star(平均每个项目 6,190 个)。该主题的领先项目是 firecrawl/firecrawl,拥有 205,758 个 Star。
共 128 个仓库
官方 Crawl4AI Cloud:为 AI 智能体提供的托管式网页抓取、内容提取和搜索 API。免费 API 密钥,每月 1,000 个额度,无需信用卡。完全开源:本仓库提供为其提供支持的 Apache-2.0 爬虫,你也可以自行托管。
易采集:一个可视化浏览器自动化测试/数据采集/网页爬虫软件,可以无代码图形化的设计和执行爬虫任务。别名:ServiceWrapper面向Web应用的智能化服务封装系统。
Crawlee——一个用于 Node.js 的网络抓取和浏览器自动化库,用于构建可靠的爬虫。用 JavaScript 和 TypeScript 编写。为 AI、LLMs、RAG 或 GPTs 提取数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。支持 Puppeteer、Playwright、Cheerio、JSDOM 和原始 HTTP。既支持有头模式,也支持无头模式。带有代理轮换。
🚀 自托管的抖音、TikTok、B 站数据采集与无水印视频下载 API,支持 AI agent 通过 MCP 调用及离线语音转文字,Docker 一键部署。| 自托管的 TikTok、抖音和 B 站数据采集器及无水印视频下载器——异步 REST API、面向 AI agent 的 MCP 服务器、CLI 和 Web 控制台,另支持对已下载视频进行离线语音转文字。身份池可自动修复,使用 PostgreSQL 归档,一条 `docker compose up` 命令即可启动。
AV 电影管理系统, avmoo , javbus , javlibrary 爬虫,线上 AV 影片图书馆,AV 磁力链接数据库,Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database
Crawlee——一个用于 Python 的网页抓取和浏览器自动化库,助您构建可靠的爬虫。通过 Pydantic AI 使用大语言模型提取结构化数据,或使用 Stagehand 以自然语言控制浏览器。支持 BeautifulSoup、Parsel、Playwright 和原始 HTTP。可下载 HTML、PDF、图片及其他文件。内置代理轮换功能。
💡 使用 Node.js 下载任何网站的完整源代码(包括所有资源)。[ Javascripts, Stylesheets, Images ]
想免费学习新知识吗?别担心,借助网络抓取和自动化的强大功能,此脚本将为您查找必要的 Udemy 优惠券,并免费为您报名参加付费 Udemy 课程!
学习如何使用 Python 和 Oxylabs SERP API 一步步抓取 Google 趋势数据并进行结果比较。提取关键词、它们的热度、按地区细分、相关查询等信息。
适用于 Node.js 的 TikTok LIVE API:一个非官方库,可从 TikTok LIVE 实时接收直播事件(评论、礼物等)。
完全免费、私有的、基于UI的技术文档MCP服务器。专为编码人员和软件开发人员设计。轻松集成到Cursor, Windsurf, Cline, Roo Code, Claude Desktop App中
免费电子邮件 OSINT 工具,支持 5000 多个平台、身份聚类和数据泄露检测。无需 API 密钥。使用 pip install mailaccess 安装
Boss直聘爬虫 / BOSS直聘职位数据抓取工具,基于 Chrome CDP 协议复用真实登录态,绕过字体反爬,输出明文薪资 JSON/CSV + 薪资技能分析。
了解如何使用 Python 和 Oxylabs 的 Google Jobs Scraper API 构建您自己的 Google Jobs Scraper,该工具可以同时为多个搜索查询和地理位置抓取 Google Jobs。https://oxylabs.io/blog/how-to-scrape-google-jobs
常见问题解答
GitHub 上最受欢迎的 #scraper 仓库是什么?
GitHub 上排名第一的开源 #scraper 项目是 firecrawl/firecrawl,拥有 205,758 个 Star。让您的智能代理更聪明的知识基础设施。通过一个 API 搜索、抓取并访问 550 多家数据提供商的数据。
#scraper 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #scraper 项目中,最常见的编程语言是 Python, TypeScript, Go, JavaScript。
#scraper 仓库的排名是如何计算的?
我们跟踪了 128 个标记为 #scraper 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 792,441 个 Star,平均每个仓库拥有 6,190 个 Star。排名每日根据 GitHub API 更新。