#data-collection 仓库
探索 52 个标记为 #data-collection 的活跃开源 GitHub 仓库,它们累计获得 268,114 个 Star(平均每个项目 5,156 个)。该主题的领先项目是 NanmiCoder/MediaCrawler,拥有 71,528 个 Star。
共 52 个仓库
小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B站视频 | 评论爬虫、微博帖子 | 评论爬虫、百度贴吧帖子 | 百度贴吧评论回复爬虫 | 知乎问答文章|评论爬虫
易采集:一个可视化浏览器自动化测试/数据采集/网页爬虫软件,可以无代码图形化的设计和执行爬虫任务。别名:ServiceWrapper面向Web应用的智能化服务封装系统。
🚀 自托管的抖音、TikTok、B 站数据采集与无水印视频下载 API,支持 AI agent 通过 MCP 调用及离线语音转文字,Docker 一键部署。| 自托管的 TikTok、抖音和 B 站数据采集器及无水印视频下载器——异步 REST API、面向 AI agent 的 MCP 服务器、CLI 和 Web 控制台,另支持对已下载视频进行离线语音转文字。身份池可自动修复,使用 PostgreSQL 归档,一条 `docker compose up` 命令即可启动。
这个GitHub仓库是一个强大的API集合,你可以立即开始使用它来构建从简单的自动化到完整的应用程序。GitHub上最有价值的API列表之一——毋庸置疑。💪
官方 Firecrawl MCP 服务器,面向 AI 智能体的上下文 API:通过任意 MCP 客户端搜索、抓取并与 Web 交互,还可解析、爬取、映射,并使用 Agent 和 Monitor。
用于云配置和安全数据的数据管道。构建云资产清单、CSPM、FinOps 和漏洞管理解决方案。从 AWS、Azure、GCP 以及 70 多个云和 SaaS 源提取数据。
来自书籍《Web Scraping with Python》的代码样本 http://shop.oreilly.com/product/0636920034391.do
神策数据官方 Android 埋点 SDK,是一款轻量级用于 Android 端的数据采集埋点 SDK,包含代码埋点、全埋点、点击图和可视化全埋点功能。全埋点通过配合神策官方 Android 埋点插件来实现,神策数据官方 Android 埋点插件使用字节码插桩(ASM)的技术实现 Android 端的全埋点(无埋点、无码埋点、无痕埋点、自动埋点)。
IoT DC3 —— 将物理世界连接到 AI。面向物理 AI 的开源工业物联网运行时:支持 36 种协议驱动、端到云数据传输,以及 MCP 工具网关,让 AI 智能体以安全、可控、可追溯的闭环方式操作设备。
神策数据官方 Web JavaScript 埋点 SDK,是一款轻量级用于 Web 端和 H5 端的数据采集埋点 SDK。使用原生 JavaScript 技术实现代码埋点、全埋点、可视化全埋点、网页热力图和触达图等功能。
SOAPHound 是一个定制开发的 .NET 数据收集工具,可用于通过 Active Directory Web Services (ADWS) 协议枚举 Active Directory 环境。
住宅、数据中心、ISP 和移动代理,覆盖 200 多个国家/地区,拥有 9,000 多万个 IP——另提供网页抓取和 SERP API。附 Python、Node.js、PHP、Go、Java、C#、Ruby 和 curl 代码示例。
deadpool代理池工具,可从hunter、quake、fofa等网络空间测绘平台取高质量socks5代理,或本地导入socks5代理,轮询使用代理进行流量转发。
常见问题解答
GitHub 上最受欢迎的 #data-collection 仓库是什么?
GitHub 上排名第一的开源 #data-collection 项目是 NanmiCoder/MediaCrawler,拥有 71,528 个 Star。小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B站视频 | 评论爬虫、微博帖子 | 评论爬虫、百度贴吧帖子 | 百度贴吧评论回复爬虫 | 知乎问答文章|评论爬虫
#data-collection 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #data-collection 项目中,最常见的编程语言是 Python, JavaScript, Java, Go。
#data-collection 仓库的排名是如何计算的?
我们跟踪了 52 个标记为 #data-collection 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 268,114 个 Star,平均每个仓库拥有 5,156 个 Star。排名每日根据 GitHub API 更新。