Git Stars Git Stars

#bigdata 仓库

探索 51 个标记为 #bigdata 的活跃开源 GitHub 仓库,它们累计获得 261,861 个 Star(平均每个项目 5,134 个)。该主题的领先项目是 DataExpert-io/data-engineer-handbook,拥有 45,237 个 Star。

51
仓库总数
261,861
总星标数
5,134
平均每个仓库星标数
1
DataExpert-io/data-engineer-handbook

这是一个包含您想了解的所有关于数据工程内容的链接的仓库

DataExpert-io
⭐ 45,237 Jupyter Notebook 👤 DataExpert-io Organization 🕐 已更新 2026-08-03 📅 创建时间 2023-11-19
2
rustfs/rustfs

RustFS 是一个开源、兼容 S3 的高性能对象存储系统,支持与 MinIO 和 Ceph 等其他 S3 兼容平台进行迁移和共存。

rustfs
⭐ 36,341 Rust 👤 rustfs Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-11-23
3
taosdata/TDengine

高性能、可扩展的时间序列数据库,专为工业物联网 (IIoT) 场景设计

taosdata
⭐ 25,203 C 👤 taosdata Organization 🕐 已更新 2026-11-15 📅 创建时间 2019-07-11
4
apache/shardingsphere

使用分布式 SQL 赋能数据智能,实现所有数据库的分片、可扩展性和安全性。

apache
⭐ 20,832 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-01-18
5
heibaiying/BigData-Notes

大数据入门指南 :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 已更新 2024-01-05 📅 创建时间 2019-03-10
6
juicedata/juicefs

JuiceFS 是一个构建在 Redis 和 S3 之上的分布式 POSIX 文件系统。

juicedata
⭐ 14,766 Go 👤 juicedata Organization 🕐 已更新 2026-11-20 📅 创建时间 2021-01-08
7
oxnr/awesome-bigdata

精选的超棒大数据框架、资源和其他精选内容列表。

oxnr
⭐ 14,744 👤 oxnr User 🕐 已更新 2026-11-13 📅 创建时间 2014-07-04
8
databendlabs/databend

Data Agent Ready Warehouse:一款适用于 Analytics、搜索、AI、Python Sandbox 的仓库 — 从零重建。统一架构在您的 S3 上。

databendlabs
⭐ 9,502 Rust 👤 databendlabs Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-10-10
9
vaexio/vaex

适用于 Python、ML、可视化和探索大型表格数据(每秒十亿行)的 Out-of-Core 混合 Apache Arrow/NumPy DataFrame 🚀

vaexio
⭐ 8,518 Python 👤 vaexio Organization 🕐 已更新 2026-11-06 📅 创建时间 2014-09-27
10
apache/hudi

Upserts、删除和大数据上的增量处理。

apache
⭐ 6,387 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-12-14
11
volcano-sh/volcano

云原生批处理系统 (CNCF 下的项目)

volcano-sh
⭐ 6,106 Go 👤 volcano-sh Organization 🕐 已更新 2026-11-19 📅 创建时间 2019-03-14
12
iGaoWei/BigDataView

100+套大数据可视化炫酷大屏Html5模板;包含行业:社区、物业、政务、交通、金融银行等,全网最新、最多,最全、最酷、最炫大数据可视化模板。陆续更新中

iGaoWei
⭐ 5,352 JavaScript 👤 iGaoWei User 🕐 已更新 2025-10-24 📅 创建时间 2021-07-29
13
DTStack/chunjun

数据集成框架

DTStack
⭐ 4,107 Java 👤 DTStack Organization 🕐 已更新 2026-10-09 📅 创建时间 2018-04-03
14
liyupi/sql-generator

🔨 用 JSON 来生成结构化的 SQL 语句,基于 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor 实现,项目简单(重逻辑轻页面)、适合练手~

liyupi
⭐ 3,455 Vue 👤 liyupi User 🕐 已更新 2024-01-17 📅 创建时间 2022-05-12
15
apache/avro

Apache Avro 是一个数据序列化系统。

apache
⭐ 3,314 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2009-05-21
16
MoRan1607/BigDataGuide

大数据学习,从零开始学习大数据,包含大数据学习各阶段学习视频、面试资料

MoRan1607
⭐ 3,259 👤 MoRan1607 User 🕐 已更新 2026-01-20 📅 创建时间 2019-11-30
17
griddb/griddb

GridDB 是一款下一代开源数据库,使时间序列 IoT 和大数据快速且易于处理。

griddb
⭐ 2,470 C++ 👤 griddb Organization 🕐 已更新 2026-03-19 📅 创建时间 2016-02-24
18
apconw/Aix-DB

Aix-DB 基于 LangChain/LangGraph 框架,结合 MCP Skills 多智能体协作架构,实现自然语言到数据洞察的端到端转换。

apconw
⭐ 2,268 JavaScript 👤 apconw User 🕐 已更新 2026-11-06 📅 创建时间 2024-11-15
19
dotnet/spark

.NET for Apache® Spark™ 使 .NET 开发人员能够轻松访问 Apache Spark™。

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 已更新 2026-11-05 📅 创建时间 2019-04-22
20
DTStack/flinkStreamSQL

基于开源的flink,对其实时sql进行扩展;主要实现了流与维表的join,支持原生flink SQL所有的语法

DTStack
⭐ 2,058 Java 👤 DTStack Organization 🕐 已更新 2024-02-21 📅 创建时间 2018-09-12
21
byzer-org/byzer-lang

Byzer (前 MLSQL): 面向数据管道、分析和 AI 的低代码开源编程语言。

byzer-org
⭐ 1,849 Scala 👤 byzer-org Organization 🕐 已更新 2024-05-29 📅 创建时间 2016-04-28
22
collabH/bigdata-growth

大数据知识仓库涉及到数据仓库建模、实时计算、大数据、数据中台、系统设计、Java、算法等。

collabH
⭐ 1,838 Python 👤 collabH User 🕐 已更新 2026-04-18 📅 创建时间 2020-06-10
23
Netflix/genie

分布式大数据编排服务

Netflix
⭐ 1,766 Java 👤 Netflix Organization 🕐 已更新 2026-11-21 📅 创建时间 2013-06-20
24
YoongiKim/AutoCrawler

Google, Naver 多进程图像网络爬虫 (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 已更新 2026-11-12 📅 创建时间 2018-11-21
25
jadianes/spark-py-notebooks

Apache Spark & Python (pySpark) 用于大数据分析和机器学习的教程,以 IPython / Jupyter 笔记本形式

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 已更新 2024-03-16 📅 创建时间 2015-05-06
26
hi-primus/optimus

:truck: 使用 Pandas、Dask、cuDF、Dask-cuDF、Vaex 和 PySpark 轻松实现敏捷数据准备工作流

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 已更新 2024-12-02 📅 创建时间 2017-07-13
27
opendatadiscovery/odd-platform

首个开源数据发现和可观测性平台。我们让数据从业者的工作更轻松,从而您可以专注于您的业务。

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 已更新 2026-10-19 📅 创建时间 2021-07-07
28
apache/celeborn

Apache Celeborn 是一个弹性的、高性能的 Shuffle 和 spilled 数据服务。

apache
⭐ 1,081 Java 👤 apache Organization 🕐 已更新 2026-11-20 📅 创建时间 2021-12-10
29
zeromicro/cds

Golang ClickHouse 数据同步。

zeromicro
⭐ 982 Go 👤 zeromicro Organization 🕐 已更新 2025-06-07 📅 创建时间 2020-11-25
30
apache/livy

Apache Livy 是一个开源 REST 接口,可从任何地方与 Apache Spark 进行交互。

apache
⭐ 962 Scala 👤 apache Organization 🕐 已更新 2026-10-20 📅 创建时间 2017-06-25
31
microsoft/Mobius

C# 和 F# 语言绑定以及对 Apache Spark 的扩展

microsoft
⭐ 948 C# 👤 microsoft Organization 🕐 已更新 2025-12-11 📅 创建时间 2015-10-27
32
visualpython/visualpython

面向数据科学的基于GUI的Python代码生成器,Jupyter Lab、Jupyter Notebook和Google Colab的扩展。

visualpython
⭐ 917 JavaScript 👤 visualpython User 🕐 已更新 2024-07-03 📅 创建时间 2021-05-02
33
pingcap/tispark

TiSpark 是为在 TiDB/TiKV 上运行 Apache Spark 而构建的。

pingcap
⭐ 889 Scala 👤 pingcap Organization 🕐 已更新 2026-08-20 📅 创建时间 2017-05-02
34
intsmaze/flink-boot

懒松鼠Flink-Boot 脚手架让Flink全面拥抱Spring生态体系,使得开发者可以以Java WEB开发模式开发出分布式运行的流处理程序,懒松鼠让跨界变得更加简单。懒松鼠旨在让开发者以更低上手成本(不需要理解分布式计算的理论知识和Flink框架的细节)便可以快速编写业务代码实现。为了进一步提升开发者使用懒松鼠脚手架开发大型项目的敏捷的度,该脚手架默认集成Spring框架进行Bean管理,同时将微服务以及WEB开发领域中经常用到的框架集成进来,进一步提升开发速度。比如集成Mybatis ORM框架,Hibernate Validator校验框架,Spring Retry重试框架等,具体见下面的脚手架特性。

intsmaze
⭐ 827 Java 👤 intsmaze User 🕐 已更新 2024-04-27 📅 创建时间 2020-11-10
35
NationalSecurityAgency/datawave

DataWave 是一个摄取/查询框架,它利用 Apache Accumulo 提供快速、安全的数据访问。

NationalSecurityAgency
⭐ 779 Java 👤 NationalSecurityAgency Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-01-10
36
gearpump/gearpump

基于 Apache Pekko 的轻量级实时大数据流处理引擎

gearpump
⭐ 757 Scala 👤 gearpump Organization 🕐 已更新 2026-11-09 📅 创建时间 2014-07-23
37
MrXujiang/v6.dooring.public

可视化大屏解决方案, 提供一套可视化编辑引擎, 助力个人或企业轻松定制自己的可视化大屏应用.

MrXujiang
⭐ 715 TypeScript 👤 MrXujiang User 🕐 已更新 2025-07-06 📅 创建时间 2021-03-08
38
WeBankFinTech/WeDataSphere

WeDataSphere 是一个金融级的一站式大数据平台套件。

WeBankFinTech
⭐ 676 👤 WeBankFinTech Organization 🕐 已更新 2024-03-14 📅 创建时间 2019-07-23
39
bigartm/bigartm

快速主题建模平台

bigartm
⭐ 673 C++ 👤 bigartm Organization 🕐 已更新 2026-02-05 📅 创建时间 2014-09-15
40
AbsaOSS/spline

数据血统跟踪和可视化解决方案

AbsaOSS
⭐ 669 Scala 👤 AbsaOSS Organization 🕐 已更新 2026-11-04 📅 创建时间 2017-05-30
41
unum-cloud/UStore

嵌入式事务数据库,支持 blob、文档和图数据;通过 io_uring 和 SPDK 实现绕过内核的 NVMe、GPU 压缩,并为自有引擎、RocksDB 和 LevelDB 提供统一的 C ABI 🗄️

unum-cloud
⭐ 649 C++ 👤 unum-cloud Organization 🕐 已更新 2026-11-18 📅 创建时间 2022-06-12
42
gangly/datafaker

Datafaker 是一个大规模测试数据和流测试数据生成工具。Datafaker 伪造数据并插入到各种数据源。测试数据生成工具

gangly
⭐ 643 Python 👤 gangly User 🕐 已更新 2026-04-04 📅 创建时间 2019-03-26
43
marmotdata/marmot

为您的公司打造的开源知识库。Marmot 深知您的数据含义,管理数据的使用权限,并执行员工和智能体发起的每一条查询,确保查询经过检查并留有记录。目录、数据血缘、受治理的 SQL 和 MCP 服务器,集于一个 Go 二进制文件中。

marmotdata
⭐ 639 Go 👤 marmotdata Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-03-12
44
minio/sidekick

高性能 HTTP Sidecar 负载均衡器

minio
⭐ 585 Go 👤 minio Organization 🕐 已更新 2025-07-14 📅 创建时间 2020-03-05
45
achtungsoftware/alarik

高性能分布式S3兼容对象存储,专注于速度,旨在成为MinIO和RustFS的开放替代品。

achtungsoftware
⭐ 584 Swift 👤 achtungsoftware Organization 🕐 已更新 2026-09-19 📅 创建时间 2025-12-06
46
ganweisoft/TOMs

TOMs是一个完全开源、高性能、系统化、面向插件且与场景无关的通用开发框架。

ganweisoft
⭐ 581 CSS 👤 ganweisoft Organization 🕐 已更新 2025-12-04 📅 创建时间 2025-06-11
47
mvillarrealb/docker-spark-cluster

一个简单的 Spark 独立集群,用于您的测试环境目的

mvillarrealb
⭐ 570 Dockerfile 👤 mvillarrealb User 🕐 已更新 2024-03-06 📅 创建时间 2018-09-23
48
leesf/hudi-resources

汇总Apache Hudi相关资料

leesf
⭐ 554 👤 leesf User 🕐 已更新 2026-03-31 📅 创建时间 2019-12-11
49
zhaoyachao/zdh_web

大数据采集,抽取平台,zdh_web是zdh系列服务的可视化管理平台,包含数据采集,调度,权限,审批流,私域营销等模块

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 已更新 2026-06-07 📅 创建时间 2020-02-03
50
nicgirault/circosJS

用于构建圆形图的d3库

nicgirault
⭐ 534 JavaScript 👤 nicgirault User 🕐 已更新 2026-01-23 📅 创建时间 2014-11-28

常见问题解答

1

GitHub 上最受欢迎的 #bigdata 仓库是什么?

GitHub 上排名第一的开源 #bigdata 项目是 DataExpert-io/data-engineer-handbook,拥有 45,237 个 Star。这是一个包含您想了解的所有关于数据工程内容的链接的仓库

2

#bigdata 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #bigdata 项目中,最常见的编程语言是 Java, Go, Python, Scala。

3

#bigdata 仓库的排名是如何计算的?

我们跟踪了 51 个标记为 #bigdata 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 261,861 个 Star,平均每个仓库拥有 5,134 个 Star。排名每日根据 GitHub API 更新。