Git Stars Git Stars

#big-data 仓库

探索 133 个标记为 #big-data 的活跃开源 GitHub 仓库,它们累计获得 683,600 个 Star(平均每个项目 5,139 个)。该主题的领先项目是 binhnguyennus/awesome-scalability,拥有 75,924 个 Star。

133
仓库总数
683,600
总星标数
5,139
平均每个仓库星标数

共 133 个仓库

1
binhnguyennus/awesome-scalability

可扩展、可靠且高性能大规模系统的模式

binhnguyennus
⭐ 75,924 👤 binhnguyennus User 🕐 已更新 2026-01-04 📅 创建时间 2017-12-27
2
ClickHouse/ClickHouse

ClickHouse® 是一个实时分析数据库管理系统

ClickHouse
⭐ 51,051 C++ 👤 ClickHouse Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-06-02
3
apache/spark

Apache Spark - 大规模数据处理的统一分析引擎

apache
⭐ 44,593 Scala 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2014-02-25
4
donnemartin/data-science-ipython-notebooks

数据科学 Python Notebook:深度学习(TensorFlow, Theano, Caffe, Keras)、scikit-learn、Kaggle、大数据(Spark, Hadoop MapReduce, HDFS)、matplotlib、pandas、NumPy、SciPy、Python 基础知识、AWS 以及各种命令行。

donnemartin
⭐ 28,776 Python 👤 donnemartin User 🕐 已更新 2024-03-20 📅 创建时间 2015-01-23
5
apache/flink

Apache Flink

apache
⭐ 26,487 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2014-06-07
6
thingsboard/thingsboard

一体化物联网平台——设备管理、数据采集、处理与可视化。

thingsboard
⭐ 22,701 Java 👤 thingsboard Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-12-01
7
amark/gun

一种用于同步去中心化图数据的开源网络安全协议。

amark
⭐ 19,166 JavaScript 👤 amark User 🕐 已更新 2026-11-20 📅 创建时间 2014-07-31
8
heibaiying/BigData-Notes

大数据入门指南 :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 已更新 2024-01-05 📅 创建时间 2019-03-10
9
prestodb/presto

Presto 分布式 SQL 查询引擎用于大数据的官方主页

prestodb
⭐ 16,777 Java 👤 prestodb Organization 🕐 已更新 2026-11-20 📅 创建时间 2012-08-09
10
andkret/Cookbook

数据工程烹饪书

andkret
⭐ 15,594 Python 👤 andkret User 🕐 已更新 2026-10-16 📅 创建时间 2019-03-10
11
trinodb/trino

Trino 的官方仓库,这是大数据的分布式 SQL 查询引擎,以前称为 PrestoSQL (https://trino.io)

trinodb
⭐ 13,532 Java 👤 trinodb Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-01-19
12
vesoft-inc/nebula

一个分布式、高速的开源图数据库,具有水平可扩展性和高可用性

vesoft-inc
⭐ 12,474 C++ 👤 vesoft-inc Organization 🕐 已更新 2026-09-08 📅 创建时间 2018-08-28
13
StarRocks/starrocks

世界上最快的开放查询引擎,可在数据湖仓内外实现亚秒级分析。StarRocks 具有支持几乎任何场景的灵活性,可为多维分析、实时分析和即席查询提供一流的性能。一个 Linux Foundation 项目。

StarRocks
⭐ 12,278 Java 👤 StarRocks Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-09-04
14
quickwit-oss/quickwit

用于可观测性的云原生OSS搜索引擎

quickwit-oss
⭐ 11,810 Rust 👤 quickwit-oss Organization 🕐 已更新 2026-11-20 📅 创建时间 2021-04-13
15
provectus/kafka-ui

Apache Kafka 管理的开源 Web UI

provectus
⭐ 11,754 Java 👤 provectus Organization 🕐 已更新 2024-07-26 📅 创建时间 2019-11-26
16
cython/cython

最广泛使用的 Python 到 C 编译器

cython
⭐ 10,898 Cython 👤 cython Organization 🕐 已更新 2026-11-19 📅 创建时间 2010-11-21
17
apache/datafusion

Apache DataFusion SQL 查询引擎

apache
⭐ 9,631 Rust 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-04-17
18
catboost/catboost

一个快速、可扩展、高性能的基于决策树的梯度提升库,用于Python、R、Java、C++的排名、分类、回归和其他机器学习任务。支持CPU和GPU计算。

catboost
⭐ 9,210 C++ 👤 catboost Organization 🕐 已更新 2026-11-20 📅 创建时间 2017-07-18
19
delta-io/delta

一个开源存储框架,能够使用包括 Spark、PrestoDB、Flink、Trino 和 Hive 在内的计算引擎和 API 构建 Lakehouse 架构

delta-io
⭐ 9,083 Scala 👤 delta-io Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-04-22
20
apache/beam

Apache Beam 是一个用于批处理和流式数据处理的统一编程模型。

apache
⭐ 8,723 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-02-02
21
arkime/arkime

Arkime 是一个开源的、大规模的、完整数据包捕获、索引和数据库系统。

arkime
⭐ 7,583 C 👤 arkime Organization 🕐 已更新 2026-11-20 📅 创建时间 2012-07-06
22
h2oai/h2o-3

H2O 是一个开源、分布式、快速和可扩展的机器学习平台:深度学习、梯度提升(GBM)和 XGBoost、随机森林、广义线性模型(带弹性网的 GLM)、K-Means、PCA、广义加性模型(GAM)、RuleFit、支持向量机(SVM)、堆叠集成、自动机器学习(AutoML)等。

h2oai
⭐ 7,527 Jupyter Notebook 👤 h2oai Organization 🕐 已更新 2026-11-11 📅 创建时间 2014-03-03
23
feast-dev/feast

用于 AI/ML 的开源特征存储

feast-dev
⭐ 7,362 Python 👤 feast-dev Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-12-10
24
vespa-engine/vespa

AI搜索平台

vespa-engine
⭐ 7,190 Java 👤 vespa-engine Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-06-03
25
apache/couchdb

无缝多主同步数据库,配备直观的 HTTP/JSON API,专为可靠性而设计

apache
⭐ 7,013 Erlang 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2009-05-21
26
apache/zeppelin

基于Web的笔记本,支持使用SQL、Scala等进行数据驱动的交互式数据分析和协作文档。

apache
⭐ 6,670 Java 👤 apache Organization 🕐 已更新 2026-11-20 📅 创建时间 2015-03-25
27
hazelcast/hazelcast

Hazelcast 是一个统一的实时数据平台,将流处理与快速数据存储相结合,使客户能够即时对运动中的数据采取行动,以获得实时洞察。

hazelcast
⭐ 6,636 Java 👤 hazelcast Organization 🕐 已更新 2026-11-20 📅 创建时间 2012-03-21
28
apache/iotdb

Apache IoTDB

apache
⭐ 6,437 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-11-24
29
pachyderm/pachyderm

以数据为中心的管道和数据版本控制

pachyderm
⭐ 6,295 Go 👤 pachyderm Organization 🕐 已更新 2025-02-03 📅 创建时间 2014-09-04
30
vcaesar/riot

Go 开源、分布式、简单且快速高效的文本/向量搜索引擎

vcaesar
⭐ 6,068 Go 👤 vcaesar User 🕐 已更新 2026-11-20 📅 创建时间 2017-06-21
31
apache/hive

Apache Hive

apache
⭐ 6,038 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2009-05-21
32
Eventual-Inc/Daft

适用于 AI 和多模态工作负载的高性能数据引擎。以任何规模处理图像、音频、视频和结构化数据。

Eventual-Inc
⭐ 5,858 Rust 👤 Eventual-Inc Organization 🕐 已更新 2026-11-09 📅 创建时间 2022-04-25
33
microsoft/SynapseML

用于将机器学习算法移植到 Spark 的简单分布式机器学习 Python 库

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 已更新 2026-11-18 📅 创建时间 2017-06-05
34
apache/calcite

Apache Calcite

apache
⭐ 5,216 Java 👤 apache Organization 🕐 已更新 2026-11-19 📅 创建时间 2014-06-25
35
apache/ignite

Apache Ignite

apache
⭐ 5,090 Java 👤 apache Organization 🕐 已更新 2026-11-20 📅 创建时间 2015-02-19
36
tschellenbach/Stream-Framework

Stream Framework 是一个 Python 库,它允许您使用 Cassandra 和/或 Redis 构建新闻源、活动流和通知系统。Stream-Framework 的作者也提供了一个用于信息流技术的云服务:

tschellenbach
⭐ 4,739 Python 👤 tschellenbach User 🕐 已更新 2025-12-04 📅 创建时间 2012-08-08
37
tangbc/vue-virtual-scroll-list

⚡️一个Vue组件,支持大量数据列表,具有高渲染性能和高效性。

tangbc
⭐ 4,544 JavaScript 👤 tangbc User 🕐 已更新 2024-05-08 📅 创建时间 2017-03-17
38
rom1504/img2dataset

轻松将大量图片URL转换为图像数据集。可在单台机器上,20小时内下载、调整大小并打包1亿个URL。

rom1504
⭐ 4,458 Python 👤 rom1504 User 🕐 已更新 2025-10-19 📅 创建时间 2021-08-11
39
crate/crate

CrateDB 是一个分布式且可扩展的 SQL 数据库,用于存储和分析海量数据,几乎实时,即使是复杂查询。它与 PostgreSQL 兼容,并基于 Lucene。

crate
⭐ 4,456 Java 👤 crate Organization 🕐 已更新 2026-11-20 📅 创建时间 2013-04-10
40
alibaba/fastjson2

🚄 FASTJSON2是一个性能卓越的Java JSON库。

alibaba
⭐ 4,433 Java 👤 alibaba Organization 🕐 已更新 2026-11-15 📅 创建时间 2022-04-17
41
Moataz-Elmesmary/Data-Science-Roadmap

从A到Z的数据科学路线图

Moataz-Elmesmary
⭐ 4,429 👤 Moataz-Elmesmary User 🕐 已更新 2025-12-06 📅 创建时间 2022-04-17
42
Rdatatable/data.table

R 的 data.table 包扩展了 data.frame 结构:

Rdatatable
⭐ 3,930 R 👤 Rdatatable Organization 🕐 已更新 2026-11-20 📅 创建时间 2014-06-07
43
alibaba/GraphScope

🔨 🍇 💻 🚀 GraphScope: Alibaba 的一站式大规模图计算系统 | 一站式图计算系统

alibaba
⭐ 3,564 C++ 👤 alibaba Organization 🕐 已更新 2026-09-23 📅 创建时间 2020-10-28
44
lakehq/sail

用 Rust 编写的即插即用 Apache Spark 替代品,统一批处理、流处理和计算密集型 AI 工作负载。

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-21
45
apache/datafusion-sqlparser-rs

Rust 的可扩展 SQL 词法分析器和解析器

apache
⭐ 3,483 Rust 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-02-06
⭐ 3,476 HTML 👤 NLPIR-team Organization 🕐 已更新 2026-07-30 📅 创建时间 2015-05-04
47
apache/paimon

Apache Paimon 是一种湖格式,支持使用 Flink 和 Spark 为流式处理和批处理操作构建实时湖仓架构。

apache
⭐ 3,454 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-01-12
48
databricks/koalas

Koalas:Apache Spark 上的 pandas API

databricks
⭐ 3,368 Python 👤 databricks Organization 🕐 已更新 2024-03-20 📅 创建时间 2019-01-03
49
apache/hugegraph

一个支持超过1000亿数据的图数据库,高性能和可扩展性(包含OLTP引擎 & REST-API & 后端)

apache
⭐ 3,211 Java 👤 apache Organization 🕐 已更新 2026-11-19 📅 创建时间 2018-07-18
50
TuiQiao/CBoard

一个易于使用、自助式开放 BI 报告和 BI 仪表板平台。

TuiQiao
⭐ 3,099 JavaScript 👤 TuiQiao Organization 🕐 已更新 2026-11-16 📅 创建时间 2016-09-21

常见问题解答

1

GitHub 上最受欢迎的 #big-data 仓库是什么?

GitHub 上排名第一的开源 #big-data 项目是 binhnguyennus/awesome-scalability,拥有 75,924 个 Star。可扩展、可靠且高性能大规模系统的模式

2

#big-data 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #big-data 项目中,最常见的编程语言是 Java, Python, Rust, C++。

3

#big-data 仓库的排名是如何计算的?

我们跟踪了 133 个标记为 #big-data 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 683,600 个 Star,平均每个仓库拥有 5,139 个 Star。排名每日根据 GitHub API 更新。