Git Stars Git Stars

#data-collection 仓库

探索 52 个标记为 #data-collection 的活跃开源 GitHub 仓库,它们累计获得 268,114 个 Star(平均每个项目 5,156 个)。该主题的领先项目是 NanmiCoder/MediaCrawler,拥有 71,528 个 Star。

52
仓库总数
268,114
总星标数
5,156
平均每个仓库星标数
1
NanmiCoder/MediaCrawler

小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B站视频 | 评论爬虫、微博帖子 | 评论爬虫、百度贴吧帖子 | 百度贴吧评论回复爬虫 | 知乎问答文章|评论爬虫

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 已更新 2026-11-21 📅 创建时间 2023-06-09
2
NaiboWang/EasySpider

易采集:一个可视化浏览器自动化测试/数据采集/网页爬虫软件,可以无代码图形化的设计和执行爬虫任务。别名:ServiceWrapper面向Web应用的智能化服务封装系统。

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 已更新 2026-11-16 📅 创建时间 2020-07-18
3
airbytehq/airbyte

开源数据移动,用于 ELT 管道和 AI 代理 — 从 API、数据库和文件到数据仓库、数据湖和 AI 应用。支持自托管和云端。

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-07-27
4
Evil0ctal/Douyin_TikTok_Download_API

🚀 自托管的抖音、TikTok、B 站数据采集与无水印视频下载 API,支持 AI agent 通过 MCP 调用及离线语音转文字,Docker 一键部署。| 自托管的 TikTok、抖音和 B 站数据采集器及无水印视频下载器——异步 REST API、面向 AI agent 的 MCP 服务器、CLI 和 Web 控制台,另支持对已下载视频进行离线语音转文字。身份池可自动修复,使用 PostgreSQL 归档,一条 `docker compose up` 命令即可启动。

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 已更新 2026-11-20 📅 创建时间 2021-11-07
5
cporter202/API-mega-list

这个GitHub仓库是一个强大的API集合,你可以立即开始使用它来构建从简单的自动化到完整的应用程序。GitHub上最有价值的API列表之一——毋庸置疑。💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 已更新 2026-11-19 📅 创建时间 2025-12-09
6
firecrawl/firecrawl-mcp-server

官方 Firecrawl MCP 服务器,面向 AI 智能体的上下文 API:通过任意 MCP 客户端搜索、抓取并与 Web 交互,还可解析、爬取、映射,并使用 Agent 和 Monitor。

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-12-06
7
snowplow/snowplow

客户数据基础设施的领导者

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 已更新 2026-10-19 📅 创建时间 2012-03-01
8
cloudquery/cloudquery

用于云配置和安全数据的数据管道。构建云资产清单、CSPM、FinOps 和漏洞管理解决方案。从 AWS、Azure、GCP 以及 70 多个云和 SaaS 源提取数据。

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-11-18
9
ResearchKit/ResearchKit

ResearchKit是一个开源软件框架,可以轻松创建用于医学研究或其他研究项目的应用程序。

ResearchKit
⭐ 5,758 Objective-C 👤 ResearchKit Organization 🕐 已更新 2026-09-23 📅 创建时间 2015-03-10
10
jitsucom/jitsu

Jitsu 是 Segment 的开源替代品。专为现代数据团队打造的可完全脚本化数据摄取引擎。可在几分钟内而非几天内设置实时数据管道

jitsucom
⭐ 5,138 TypeScript 👤 jitsucom Organization 🕐 已更新 2026-11-20 📅 创建时间 2020-08-04
11
CollegesChat/university-information

收集全国各高校招生时不会写明,却会实实在在影响大学生活质量的要求与细节

CollegesChat
⭐ 5,105 👤 CollegesChat Organization 🕐 已更新 2026-10-18 📅 创建时间 2021-06-25
12
REMitchell/python-scraping

来自书籍《Web Scraping with Python》的代码样本 http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 已更新 2024-06-01 📅 创建时间 2015-06-14
⭐ 4,380 PHP 👤 php-debugbar Organization 🕐 已更新 2026-10-25 📅 创建时间 2013-06-07
14
cv-cat/DouYin_Spider

抖音逆向,抖音爬虫,抖音全部api、私信、直播间监听

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 已更新 2026-10-23 📅 创建时间 2023-10-17
15
Gioman101/FlipperAmiibo

专为 Flipper 设计,只需将文件夹拖入 NFC 即可

Gioman101
⭐ 3,422 Python 👤 Gioman101 User 🕐 已更新 2024-08-15 📅 创建时间 2022-04-22
16
scrapy/scrapyd

一个运行 Scrapy 蜘蛛的服务守护进程

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 已更新 2026-10-23 📅 创建时间 2013-02-01
17
vladkens/twscrape

用于X/Twitter数据抓取的Python库和命令行工具,支持多账户轮换和内置速率限制处理。

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 已更新 2026-11-19 📅 创建时间 2023-05-05
18
M-cheng-web/web-tracing

为前端项目提供【 埋点、行为、性能、异常、请求、资源、路由、曝光、录屏 】监控手段

M-cheng-web
⭐ 2,950 TypeScript 👤 M-cheng-web User 🕐 已更新 2026-09-21 📅 创建时间 2021-12-24
19
brightdata/brightdata-mcp

一个强大的模型上下文协议 (MCP) 服务器,为公共Web访问提供一站式解决方案。

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 已更新 2026-11-18 📅 创建时间 2025-04-15
20
SPX372928/MyIPTV

标准协议移动直播源

SPX372928
⭐ 2,704 👤 SPX372928 User 🕐 已更新 2026-02-19 📅 创建时间 2020-04-07
⭐ 2,096 Python 👤 tonyzhaozh User 🕐 已更新 2024-04-19 📅 创建时间 2023-02-22
22
X-zhangyang/Real-World-Masked-Face-Dataset

Real-World Masked Face Dataset,口罩人脸数据集

X-zhangyang
⭐ 2,030 Python 👤 X-zhangyang User 🕐 已更新 2024-11-20 📅 创建时间 2020-02-13
23
KEV0143/Parser-Chitai-Gorod

“Chitai-Gorod”目录的智能解析器。基于任何指定参数(从ISBN到折扣动态)的高速数据收集和结构化处理。

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 已更新 2026-09-17 📅 创建时间 2025-05-18
24
pyper-dev/pyper

并发 Python 简化

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 已更新 2025-02-04 📅 创建时间 2024-05-22
25
sensorsdata/sa-sdk-android

神策数据官方 Android 埋点 SDK,是一款轻量级用于 Android 端的数据采集埋点 SDK,包含代码埋点、全埋点、点击图和可视化全埋点功能。全埋点通过配合神策官方 Android 埋点插件来实现,神策数据官方 Android 埋点插件使用字节码插桩(ASM)的技术实现 Android 端的全埋点(无埋点、无码埋点、无痕埋点、自动埋点)。

sensorsdata
⭐ 1,374 Java 👤 sensorsdata Organization 🕐 已更新 2026-11-04 📅 创建时间 2015-11-06
26
pnoker/iot-dc3

IoT DC3 —— 将物理世界连接到 AI。面向物理 AI 的开源工业物联网运行时:支持 36 种协议驱动、端到云数据传输,以及 MCP 工具网关,让 AI 智能体以安全、可控、可追溯的闭环方式操作设备。

pnoker
⭐ 1,274 Java 👤 pnoker User 🕐 已更新 2026-11-11 📅 创建时间 2018-08-28
27
Decodo/Decodo

HTTP(S)/SOCKS5 旋转住宅代理 - 代码示例和一般信息。

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 已更新 2026-11-11 📅 创建时间 2019-01-07
28
rohunvora/x-research-skill

X/Twitter 研究技能(适用于 Claude Code 和 OpenClaw)。智能搜索、线程跟踪、深度挖掘、来源汇报。

rohunvora
⭐ 1,248 TypeScript 👤 rohunvora User 🕐 已更新 2026-02-19 📅 创建时间 2026-02-08
29
washingtonpost/data-police-shootings

华盛顿邮报正在编制一个数据库,记录自2015年以来美国警察在执行职务时发生的每一起致命枪击事件。

washingtonpost
⭐ 1,147 👤 washingtonpost Organization 🕐 已更新 2026-10-14 📅 创建时间 2015-06-30
31
plan-player-analytics/Plan

Minecraft 服务器平台的玩家分析插件 - 轻松查看您服务器的玩家活动。:calendar:

plan-player-analytics
⭐ 1,041 Java 👤 plan-player-analytics Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-12-08
32
estuary/flow

🌊 通过使用 Estuary 管理您的数据流,持续将数据所在的系统同步到您希望数据所在的系统。 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-02-13
33
sensorsdata/sa-sdk-javascript

神策数据官方 Web JavaScript 埋点 SDK,是一款轻量级用于 Web 端和 H5 端的数据采集埋点 SDK。使用原生 JavaScript 技术实现代码埋点、全埋点、可视化全埋点、网页热力图和触达图等功能。

sensorsdata
⭐ 956 JavaScript 👤 sensorsdata Organization 🕐 已更新 2026-11-12 📅 创建时间 2015-11-06
34
levinunnink/html-form-to-google-sheet

如何将HTML表单提交到Google表格。(更新为2026版脚本编辑器)

levinunnink
⭐ 948 JavaScript 👤 levinunnink User 🕐 已更新 2026-01-14 📅 创建时间 2021-09-20
35
TheBurnsy/Vehicle-OSINT-Collection

一份详细的工具列表,可用于查找与特定车辆相关的信息。

TheBurnsy
⭐ 912 👤 TheBurnsy User 🕐 已更新 2024-11-20 📅 创建时间 2022-11-16
36
Cl0udG0d/Fofa-hack

非付费会员,fofa数据采集工具

Cl0udG0d
⭐ 882 Python 👤 Cl0udG0d User 🕐 已更新 2025-10-28 📅 创建时间 2022-09-15
37
FalconForceTeam/SOAPHound

SOAPHound 是一个定制开发的 .NET 数据收集工具,可用于通过 Active Directory Web Services (ADWS) 协议枚举 Active Directory 环境。

FalconForceTeam
⭐ 840 C# 👤 FalconForceTeam Organization 🕐 已更新 2024-02-03 📅 创建时间 2024-01-25
38
zqzess/MyWebStorage

整合网络上现有的香色闺阁源,爬虫每周自动更新书源

zqzess
⭐ 813 HTML 👤 zqzess User 🕐 已更新 2026-11-16 📅 创建时间 2021-05-18
39
getodk/collect

ODK Collect 是一款用于填写表单的 Android 应用。它已被用于在世界各地具有挑战性的环境中收集数十亿个数据点。贡献力量,让世界变得更美好!✨📋✨

getodk
⭐ 807 Kotlin 👤 getodk Organization 🕐 已更新 2026-11-20 📅 创建时间 2015-08-04
40
quantumproxies/quantumproxies.io

住宅、数据中心、ISP 和移动代理,覆盖 200 多个国家/地区,拥有 9,000 多万个 IP——另提供网页抓取和 SERP API。附 Python、Node.js、PHP、Go、Java、C#、Ruby 和 curl 代码示例。

quantumproxies
⭐ 780 Java 👤 quantumproxies User 🕐 已更新 2026-09-06 📅 创建时间 2025-11-17
41
LAION-AI/audio-dataset

用于训练 CLAP 和其他模型的音频数据集

LAION-AI
⭐ 750 Python 👤 LAION-AI Organization 🕐 已更新 2026-01-08 📅 创建时间 2022-03-07
42
thinkoaa/Deadpool

deadpool代理池工具,可从hunter、quake、fofa等网络空间测绘平台取高质量socks5代理,或本地导入socks5代理,轮询使用代理进行流量转发。

thinkoaa
⭐ 741 Go 👤 thinkoaa User 🕐 已更新 2026-05-06 📅 创建时间 2024-08-26
43
augurlabs/augur

当 Augur 达到瓶颈时,我们开发了 Aveloxis:用于可靠地收集 OSS 指标数据。3 天内完整收集 40,000 个存储库,这很不错,对吧?

augurlabs
⭐ 695 Go 👤 augurlabs Organization 🕐 已更新 2026-08-04 📅 创建时间 2017-01-05
44
bangumi-data/bangumi-data

日本动漫的原始数据

bangumi-data
⭐ 665 JavaScript 👤 bangumi-data Organization 🕐 已更新 2026-11-17 📅 创建时间 2016-09-04
45
ohyicong/Google-Image-Scraper

用于抓取谷歌图片的库

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 已更新 2025-02-16 📅 创建时间 2020-07-18
46
nghuyong/weibo-cov

Weibo-COV: 来自微博的大规模 COVID-19 社交媒体数据集

nghuyong
⭐ 626 👤 nghuyong User 🕐 已更新 2025-08-23 📅 创建时间 2020-02-20
⭐ 625 Python 👤 Robotics-Ark Organization 🕐 已更新 2026-06-20 📅 创建时间 2025-06-25
48
john-friedman/datamule-python

一个用于处理SEC数据的软件包。它包含Datamule端点。

john-friedman
⭐ 560 Python 👤 john-friedman User 🕐 已更新 2026-08-14 📅 创建时间 2024-09-06
49
sindresorhus/insight

Node.js 模块,帮助您了解您的工具的使用情况,通过匿名向 Google Analytics 报告使用指标

sindresorhus
⭐ 553 JavaScript 👤 sindresorhus User 🕐 已更新 2026-09-18 📅 创建时间 2012-12-12
50
zhaoyachao/zdh_web

大数据采集,抽取平台,zdh_web是zdh系列服务的可视化管理平台,包含数据采集,调度,权限,审批流,私域营销等模块

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 已更新 2026-06-07 📅 创建时间 2020-02-03

常见问题解答

1

GitHub 上最受欢迎的 #data-collection 仓库是什么?

GitHub 上排名第一的开源 #data-collection 项目是 NanmiCoder/MediaCrawler,拥有 71,528 个 Star。小红书笔记 | 评论爬虫、抖音视频 | 评论爬虫、快手视频 | 评论爬虫、B站视频 | 评论爬虫、微博帖子 | 评论爬虫、百度贴吧帖子 | 百度贴吧评论回复爬虫 | 知乎问答文章|评论爬虫

2

#data-collection 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #data-collection 项目中,最常见的编程语言是 Python, JavaScript, Java, Go。

3

#data-collection 仓库的排名是如何计算的?

我们跟踪了 52 个标记为 #data-collection 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 268,114 个 Star,平均每个仓库拥有 5,156 个 Star。排名每日根据 GitHub API 更新。