Git Stars Git Stars

#spark 仓库

探索 126 个标记为 #spark 的活跃开源 GitHub 仓库,它们累计获得 513,269 个 Star(平均每个项目 4,073 个)。该主题的领先项目是 DataTalksClub/data-engineering-zoomcamp,拥有 46,997 个 Star。

126
仓库总数
513,269
总星标数
4,073
平均每个仓库星标数

共 126 个仓库

1
DataTalksClub/data-engineering-zoomcamp

Data Engineering Zoomcamp 是一门关于构建生产就绪型数据管道的 9 周免费课程。在此加入课程 👇🏼

DataTalksClub
⭐ 46,997 Jupyter Notebook 👤 DataTalksClub Organization 🕐 已更新 2026-11-16 📅 创建时间 2021-10-21
2
apache/spark

Apache Spark - 大规模数据处理的统一分析引擎

apache
⭐ 44,593 Scala 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2014-02-25
3
getredash/redash

让您的公司由数据驱动。连接到任何数据源,轻松可视化、仪表板化并共享您的数据。

getredash
⭐ 28,895 TypeScript 👤 getredash Organization 🕐 已更新 2026-11-14 📅 创建时间 2013-10-28
4
donnemartin/data-science-ipython-notebooks

数据科学 Python Notebook:深度学习(TensorFlow, Theano, Caffe, Keras)、scikit-learn、Kaggle、大数据(Spark, Hadoop MapReduce, HDFS)、matplotlib、pandas、NumPy、SciPy、Python 基础知识、AWS 以及各种命令行。

donnemartin
⭐ 28,776 Python 👤 donnemartin User 🕐 已更新 2024-03-20 📅 创建时间 2015-01-23
5
yeasy/docker_practice

最新Docker容器技术,从真实案例中学习最佳实践!| 学习并了解Docker与容器技术,结合真实DevOps实践!

yeasy
⭐ 26,382 Go 👤 yeasy User 🕐 已更新 2026-11-11 📅 创建时间 2014-09-05
6
heibaiying/BigData-Notes

大数据入门指南 :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 已更新 2024-01-05 📅 创建时间 2019-03-10
7
FavioVazquez/ds-cheatsheets

统治世界的數據科學速查表列表

FavioVazquez
⭐ 15,921 👤 FavioVazquez User 🕐 已更新 2024-07-18 📅 创建时间 2018-12-20
8
GaiZhenbiao/ChuanhuChatGPT

ChatGPT API 和许多 LLM 的图形用户界面。支持代理、基于文件的问答、GPT 微调以及结合网页搜索的查询。所有这些都具有整洁的用户界面。

GaiZhenbiao
⭐ 15,237 Python 👤 GaiZhenbiao User 🕐 已更新 2026-09-16 📅 创建时间 2023-03-02
9
zhisheng17/flink-learning

flink learning blog. http://www.54tianzhisheng.cn/ 含 Flink 入门、概念、原理、实战、性能调优、源码解析等内容。涉及 Flink Connector、Metrics、Library、DataStream API、Table API & SQL 等内容的学习案例,还有 Flink 落地应用的大型项目案例(PVUV、日志存储、百亿数据实时去重、监控告警)分享。欢迎大家支持我的专栏《大数据实时计算引擎 Flink 实战与性能优化》

zhisheng17
⭐ 15,109 Java 👤 zhisheng17 User 🕐 已更新 2026-05-06 📅 创建时间 2019-01-01
10
aalansehaiyang/technology-talk

【大厂面试专栏】一份Java程序员需要的技术指南,这里有面试题、系统架构、职场锦囊、主流中间件等,让你成为更牛的自己!

aalansehaiyang
⭐ 14,717 👤 aalansehaiyang User 🕐 已更新 2025-07-21 📅 创建时间 2016-06-10
11
horovod/horovod

用于 TensorFlow、Keras、PyTorch 和 Apache MXNet 的分布式训练框架。

horovod
⭐ 14,695 Python 👤 horovod Organization 🕐 已更新 2026-06-20 📅 创建时间 2017-08-09
12
deeplearning4j/deeplearning4j

一套使用JVM部署和训练深度学习模型的工具。主要功能包括Keras、TensorFlow和ONNX/PyTorch的模型导入,用于运行数学代码的模块化且小巧的C++库,以及基于核心C++库之上的Java数学库。还包括SameDiff:一个类似于PyTorch/TensorFlow的用于运行深度学习的库……

deeplearning4j
⭐ 14,283 Java 👤 deeplearning4j Organization 🕐 已更新 2026-10-05 📅 创建时间 2013-11-27
13
tobymao/sqlglot

Python SQL 解析器和转换器

tobymao
⭐ 9,809 Python 👤 tobymao User 🕐 已更新 2026-11-21 📅 创建时间 2021-03-13
14
delta-io/delta

一个开源存储框架,能够使用包括 Spark、PrestoDB、Flink、Trino 和 Hive 在内的计算引擎和 API 构建 Lakehouse 架构

delta-io
⭐ 9,083 Scala 👤 delta-io Organization 🕐 已更新 2026-11-21 📅 创建时间 2019-04-22
15
mage-ai/mage-ai

🧙 构建、运行和管理数据管道,用于集成和转换数据。

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-05-16
16
h2oai/h2o-3

H2O 是一个开源、分布式、快速和可扩展的机器学习平台:深度学习、梯度提升(GBM)和 XGBoost、随机森林、广义线性模型(带弹性网的 GLM)、K-Means、PCA、广义加性模型(GAM)、RuleFit、支持向量机(SVM)、堆叠集成、自动机器学习(AutoML)等。

h2oai
⭐ 7,527 Jupyter Notebook 👤 h2oai Organization 🕐 已更新 2026-11-11 📅 创建时间 2014-03-03
17
Alluxio/alluxio

Alluxio,云端分析和机器学习的数据编排

Alluxio
⭐ 7,264 Java 👤 Alluxio Organization 🕐 已更新 2026-09-01 📅 创建时间 2012-12-21
18
Angel-ML/angel

面向大规模机器学习的灵活强大的参数服务器

Angel-ML
⭐ 6,797 Java 👤 Angel-ML Organization 🕐 已更新 2026-11-19 📅 创建时间 2017-04-25
19
apache/zeppelin

基于Web的笔记本,支持使用SQL、Scala等进行数据驱动的交互式数据分析和协作文档。

apache
⭐ 6,670 Java 👤 apache Organization 🕐 已更新 2026-11-20 📅 创建时间 2015-03-25
20
microsoft/SynapseML

用于将机器学习算法移植到 Spark 的简单分布式机器学习 Python 库

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 已更新 2026-11-18 📅 创建时间 2017-06-05
21
tencentmusic/cube-studio

cube studio开源云原生一站式机器学习/深度学习/大模型AI平台,mlops算法链路全流程,算力租赁平台,notebook在线开发,拖拉拽任务流pipeline编排,多机多卡分布式训练,超参搜索,推理服务VGPU虚拟化,边缘计算,标注平台自动化标注,deepseek等大模型sft微调/奖励模型/强化学习训练,vllm/ollama/mindie大模型多机推理,私有知识库,AI模型市场,支持国产cpu/gpu/npu 昇腾生态,支持RDMA,支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 已更新 2026-10-09 📅 创建时间 2021-08-17
22
apache/streampark

实时数据的开放控制平面

apache
⭐ 4,352 Java 👤 apache Organization 🕐 已更新 2026-10-31 📅 创建时间 2019-05-27
23
JohnSnowLabs/spark-nlp

最先进的自然语言处理

JohnSnowLabs
⭐ 4,162 Scala 👤 JohnSnowLabs Organization 🕐 已更新 2026-11-14 📅 创建时间 2017-09-24
24
RoaringBitmap/RoaringBitmap

Java 中的一个更好的压缩位集:被 Apache Spark、Netflix Atlas、Apache Pinot、Tablesaw 和许多其他项目使用

RoaringBitmap
⭐ 3,957 Java 👤 RoaringBitmap Organization 🕐 已更新 2026-11-14 📅 创建时间 2013-06-17
25
Cyb3rWard0g/HELK

狩猎麋鹿

Cyb3rWard0g
⭐ 3,901 Jupyter Notebook 👤 Cyb3rWard0g User 🕐 已更新 2024-06-01 📅 创建时间 2017-03-14
26
awslabs/deequ

Deequ 是一个基于 Apache Spark 构建的库,用于定义“数据单元测试”,这些测试用于测量大型数据集中的数据质量。

awslabs
⭐ 3,660 Scala 👤 awslabs Organization 🕐 已更新 2026-10-20 📅 创建时间 2018-08-07
27
lakehq/sail

用 Rust 编写的即插即用 Apache Spark 替代品,统一批处理、流处理和计算密集型 AI 工作负载。

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-21
28
liyupi/sql-generator

🔨 用 JSON 来生成结构化的 SQL 语句,基于 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor 实现,项目简单(重逻辑轻页面)、适合练手~

liyupi
⭐ 3,455 Vue 👤 liyupi User 🕐 已更新 2024-01-17 📅 创建时间 2022-05-12
29
apache/paimon

Apache Paimon 是一种湖格式,支持使用 Flink 和 Spark 为流式处理和批处理操作构建实时湖仓架构。

apache
⭐ 3,454 Java 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-01-12
30
apache/linkis

Apache Linkis 构建了一个计算中间件层,以促进上层应用与底层数据引擎之间的连接、治理和编排。

apache
⭐ 3,417 Java 👤 apache Organization 🕐 已更新 2026-11-04 📅 创建时间 2019-07-23
31
databricks/koalas

Koalas:Apache Spark 上的 pandas API

databricks
⭐ 3,368 Python 👤 databricks Organization 🕐 已更新 2024-03-20 📅 创建时间 2019-01-03
32
WeBankFinTech/DataSphereStudio

DataSphereStudio 是一个一站式数据应用开发和管理门户,涵盖数据交换、脱敏/清洗、分析/挖掘、质量度量、可视化和任务调度等场景。

WeBankFinTech
⭐ 3,275 Java 👤 WeBankFinTech Organization 🕐 已更新 2025-11-04 📅 创建时间 2019-11-24
33
lakesoul-io/LakeSoul

面向智能体的开源湖仓引擎——原生支持 Postgres、向量和 Python。兼容 PostgreSQL,运行于您的对象存储之上,以 Rust 编写。

lakesoul-io
⭐ 3,261 Rust 👤 lakesoul-io Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-12-28
34
MoRan1607/BigDataGuide

大数据学习,从零开始学习大数据,包含大数据学习各阶段学习视频、面试资料

MoRan1607
⭐ 3,259 👤 MoRan1607 User 🕐 已更新 2026-01-20 📅 创建时间 2019-11-30
35
kubeflow/spark-operator

用于在 Kubernetes 上管理 Apache Spark 应用程序生命周期的 Kubernetes 操作员。

kubeflow
⭐ 3,162 Python 👤 kubeflow Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-01-03
36
Luce-Org/lucebox

适用于异构硬件和消费级 GPU 的 Lucebox 推理引擎

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-04-03
37
RayXBuilds/Movie_Recommend

历史学习项目:Spark 电影推荐、爬虫、Web 与后台。新版持续开发见 cinematch-recommender。

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 已更新 2026-10-21 📅 创建时间 2018-04-18
38
spark-jobserver/spark-jobserver

Apache Spark 的 REST 作业服务器

spark-jobserver
⭐ 2,833 Scala 👤 spark-jobserver Organization 🕐 已更新 2026-03-03 📅 创建时间 2014-08-21
39
vector4wang/spring-boot-quick

:herb: 基于springboot的快速学习示例,整合自己遇到的开源框架,如:rabbitmq(延迟队列)、Kafka、jpa、redis、oauth2、swagger、jsp、docker、k3s、k3d、k8s、mybatis加解密插件、异常处理、日志输出、多模块开发、多环境打包、缓存cache、爬虫、jwt、GraphQL、dubbo、zookeeper和Async等等:pushpin:

vector4wang
⭐ 2,789 Java 👤 vector4wang User 🕐 已更新 2026-05-16 📅 创建时间 2017-03-13
40
moj-analytical-services/splink

快速、准确且可扩展的概率数据链接,支持多个 SQL 后端

moj-analytical-services
⭐ 2,592 Python 👤 moj-analytical-services Organization 🕐 已更新 2026-11-11 📅 创建时间 2019-11-22
41
geekyouth/SZT-bigdata

深圳地铁大数据客流分析系统🚇🚄🌟

geekyouth
⭐ 2,469 Scala 👤 geekyouth User 🕐 已更新 2026-05-12 📅 创建时间 2020-04-13
42
XZB-1248/Spark

✨Spark是一个Go编写的,网页UI、跨平台以及多功能的远程控制和监控工具,你可以随时随地监控和控制所有设备。

XZB-1248
⭐ 2,412 Go 👤 XZB-1248 User 🕐 已更新 2026-03-16 📅 创建时间 2022-03-16
43
apache/kyuubi

Apache Kyuubi 是一个分布式、多租户网关,用于在数据仓库和湖屋上提供无服务器 SQL。

apache
⭐ 2,379 Scala 👤 apache Organization 🕐 已更新 2026-11-19 📅 创建时间 2017-12-18
44
ytsaurus/ytsaurus

YTsaurus 是一个可扩展且容错的开源大数据平台。

ytsaurus
⭐ 2,325 C++ 👤 ytsaurus Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-12-05
45
o-gs/dji-firmware-tools

用于处理大疆产品固件的工具,重点关注四旋翼飞行器。

o-gs
⭐ 2,309 C 👤 o-gs Organization 🕐 已更新 2026-11-11 📅 创建时间 2016-08-03
46
salesforce/TransmogrifAI

TransmogrifAI(发音为 trăns-mŏgˈrə-fī)是一个 AutoML 库,用于在 Apache Spark 上构建模块化、可重用且强类型的机器学习工作流,且只需极少的调优。

salesforce
⭐ 2,280 Scala 👤 salesforce Organization 🕐 已更新 2026-06-02 📅 创建时间 2017-11-02
47
fugue-project/fugue

分布式计算的统一接口。Fugue 在 Spark、Dask 和 Ray 上执行 SQL、Python、Pandas 和 Polars 代码,无需任何重写。

fugue-project
⭐ 2,168 Python 👤 fugue-project Organization 🕐 已更新 2026-11-12 📅 创建时间 2020-03-24
48
zio/zio-quill

Scala 的编译时语言集成查询

zio
⭐ 2,165 Scala 👤 zio Organization 🕐 已更新 2026-11-21 📅 创建时间 2015-07-20
49
dotnet/spark

.NET for Apache® Spark™ 使 .NET 开发人员能够轻松访问 Apache Spark™。

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 已更新 2026-11-05 📅 创建时间 2019-04-22
50
broadinstitute/gatk

GATK 4及以上版本官方代码仓库

broadinstitute
⭐ 2,010 Java 👤 broadinstitute Organization 🕐 已更新 2026-11-21 📅 创建时间 2014-12-02

常见问题解答

1

GitHub 上最受欢迎的 #spark 仓库是什么?

GitHub 上排名第一的开源 #spark 项目是 DataTalksClub/data-engineering-zoomcamp,拥有 46,997 个 Star。Data Engineering Zoomcamp 是一门关于构建生产就绪型数据管道的 9 周免费课程。在此加入课程 👇🏼

2

#spark 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #spark 项目中,最常见的编程语言是 Java, Scala, Python, Jupyter Notebook。

3

#spark 仓库的排名是如何计算的?

我们跟踪了 126 个标记为 #spark 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 513,269 个 Star,平均每个仓库拥有 4,073 个 Star。排名每日根据 GitHub API 更新。