Git Stars Git Stars

#apache-spark 仓库

探索 44 个标记为 #apache-spark 的活跃开源 GitHub 仓库,它们累计获得 97,788 个 Star(平均每个项目 2,222 个)。该主题的领先项目是 mlflow/mlflow,拥有 28,920 个 Star。

44
仓库总数
97,788
总星标数
2,222
平均每个仓库星标数
1
mlflow/mlflow

开源AI工程平台,适用于代理、大语言模型(LLMs)和机器学习模型。MLflow使各种规模的团队能够调试、评估、监控和优化生产级AI应用,同时控制成本并管理对模型和数据的访问。

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-06-05
2
treeverse/lakeFS

lakeFS - 为您的数据湖提供数据版本控制 | 数据版的 Git

treeverse
⭐ 5,590 Go 👤 treeverse Organization 🕐 已更新 2026-11-19 📅 创建时间 2019-09-12
3
JerryLead/SparkInternals

关于Apache Spark设计与实现的笔记

JerryLead
⭐ 5,353 👤 JerryLead User 🕐 已更新 2024-04-02 📅 创建时间 2014-08-08
4
microsoft/SynapseML

用于将机器学习算法移植到 Spark 的简单分布式机器学习 Python 库

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 已更新 2026-11-18 📅 创建时间 2017-06-05
5
databricks/learning-spark

来自 Learning Spark 书籍的示例代码

databricks
⭐ 3,895 Java 👤 databricks Organization 🕐 已更新 2026-06-30 📅 创建时间 2014-06-16
6
lakehq/sail

用 Rust 编写的即插即用 Apache Spark 替代品,统一批处理、流处理和计算密集型 AI 工作负载。

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-21
7
kubeflow/spark-operator

用于在 Kubernetes 上管理 Apache Spark 应用程序生命周期的 Kubernetes 操作员。

kubeflow
⭐ 3,162 Python 👤 kubeflow Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-01-03
8
intel/BigDL

BigDL: Apache Spark/Flink & Ray 上的分布式 TensorFlow、Keras 和 PyTorch

intel
⭐ 2,699 Jupyter Notebook 👤 intel Organization 🕐 已更新 2026-06-12 📅 创建时间 2017-05-05
9
dotnet/spark

.NET for Apache® Spark™ 使 .NET 开发人员能够轻松访问 Apache Spark™。

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 已更新 2026-11-05 📅 创建时间 2019-04-22
10
big-data-europe/docker-spark

Apache Spark Docker 镜像

big-data-europe
⭐ 2,045 Shell 👤 big-data-europe Organization 🕐 已更新 2026-04-20 📅 创建时间 2015-10-08
11
feathr-ai/feathr

Feathr – 面向企业的可扩展、统一的数据和人工智能工程平台

feathr-ai
⭐ 1,916 Scala 👤 feathr-ai Organization 🕐 已更新 2024-04-04 📅 创建时间 2022-02-18
12
awesome-spark/awesome-spark

精选的精选Apache Spark软件包和资源列表。

awesome-spark
⭐ 1,903 Shell 👤 awesome-spark Organization 🕐 已更新 2026-02-27 📅 创建时间 2016-02-01
13
holdenk/spark-testing-base

使用 Spark 编写测试时使用的基类

holdenk
⭐ 1,555 Scala 👤 holdenk User 🕐 已更新 2026-10-31 📅 创建时间 2015-01-30
⭐ 1,553 👤 japila-books Organization 🕐 已更新 2026-10-10 📅 创建时间 2015-08-31
15
aws-samples/aws-glue-samples

AWS Glue 代码示例

aws-samples
⭐ 1,538 Python 👤 aws-samples Organization 🕐 已更新 2026-11-16 📅 创建时间 2017-05-21
16
sryza/aas

O'Reilly Media 的 Spark 高级分析配套代码

sryza
⭐ 1,531 Scala 👤 sryza User 🕐 已更新 2024-09-25 📅 创建时间 2014-11-08
17
locationtech/geomesa

GeoMesa 是一套用于以分布式方式处理海量地理空间数据的工具集。

locationtech
⭐ 1,499 Scala 👤 locationtech Organization 🕐 已更新 2026-11-20 📅 创建时间 2013-09-30
19
databricks/LearningSparkV2

这是 Learning Spark: Lightning-Fast Data Analytics [2nd Edition] 的 GitHub 仓库

databricks
⭐ 1,396 Scala 👤 databricks Organization 🕐 已更新 2025-01-28 📅 创建时间 2019-02-10
20
spark-examples/pyspark-examples

Python 语言中的 PySpark RDD、DataFrame 和 Dataset 示例

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 已更新 2025-12-07 📅 创建时间 2019-11-26
21
graphframes/graphframes

GraphFrames 是 Apache Spark 的一个包,提供基于 DataFrame 的图。

graphframes
⭐ 1,213 Scala 👤 graphframes Organization 🕐 已更新 2026-11-12 📅 创建时间 2016-01-20
22
youngwookim/awesome-hadoop

精选的超赞 Hadoop 及 Hadoop 生态系统资源列表

youngwookim
⭐ 1,113 👤 youngwookim User 🕐 已更新 2024-05-07 📅 创建时间 2014-07-08
23
JohnSnowLabs/spark-nlp-workshop

使用 John Snow Labs 的 Apache Spark NLP 的公共可运行示例。

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 已更新 2026-11-17 📅 创建时间 2018-08-20
24
mahmoudparsian/data-algorithms-book

数据算法丛书:MapReduce、Spark、Java 和 Scala

mahmoudparsian
⭐ 1,083 Java 👤 mahmoudparsian User 🕐 已更新 2024-10-14 📅 创建时间 2014-08-06
26
sparklyr/sparklyr

Apache Spark 的 R 接口

sparklyr
⭐ 970 R 👤 sparklyr Organization 🕐 已更新 2026-11-09 📅 创建时间 2016-05-20
27
dbpedia/extraction-framework

用于从维基百科提取结构化数据的软件

dbpedia
⭐ 950 Scala 👤 dbpedia Organization 🕐 已更新 2026-11-13 📅 创建时间 2013-02-07
28
microsoft/Mobius

C# 和 F# 语言绑定以及对 Apache Spark 的扩展

microsoft
⭐ 948 C# 👤 microsoft Organization 🕐 已更新 2025-12-11 📅 创建时间 2015-10-27
29
aloneguid/parquet-dotnet

完全托管的 Apache Parquet 实现

aloneguid
⭐ 912 C# 👤 aloneguid User 🕐 已更新 2026-10-26 📅 创建时间 2019-12-12
30
pyspark-ai/pyspark-ai

Apache Spark 的英文 SDK

pyspark-ai
⭐ 879 Python 👤 pyspark-ai Organization 🕐 已更新 2026-10-27 📅 创建时间 2023-04-27
31
LucaCanali/sparkMeasure

此仓库包含 sparkMeasure 的开发代码,sparkMeasure 是一个 Apache Spark 性能分析和故障排除库。它简化了 Spark 任务/阶段指标的收集、聚合和导出,并专为开发者和数据工程师在交互式分析、测试和生产监控工作流程中的实际使用而设计。

LucaCanali
⭐ 831 Scala 👤 LucaCanali User 🕐 已更新 2026-10-16 📅 创建时间 2017-03-16
32
awslabs/python-deequ

Deequ的Python API

awslabs
⭐ 826 Jupyter Notebook 👤 awslabs Organization 🕐 已更新 2026-10-24 📅 创建时间 2020-11-09
33
databricks/tensorframes

[DEPRECATED] Apache Spark 上 DataFrames 的 Tensorflow 包装器

databricks
⭐ 745 Scala 👤 databricks Organization 🕐 已更新 2024-07-30 📅 创建时间 2016-03-04
34
databricks/devrel

此存储库包含我们用于 Databricks Tech Talks 的笔记本和演示文稿 "

databricks
⭐ 734 HTML 👤 databricks Organization 🕐 已更新 2025-01-06 📅 创建时间 2020-04-03
35
muaimingjun/bigData

大数据比赛项目库

muaimingjun
⭐ 734 Python 👤 muaimingjun User 🕐 已更新 2025-05-07 📅 创建时间 2019-10-14
36
awslabs/aws-glue-libs

AWS Glue 库是针对 ETL 操作对 Spark 的添加和增强。

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 已更新 2026-10-30 📅 创建时间 2017-08-11
37
mrpowers-io/quinn

PySpark 方法提升开发者生产力 📣 👯 🎉

mrpowers-io
⭐ 691 Python 👤 mrpowers-io Organization 🕐 已更新 2026-10-25 📅 创建时间 2017-09-15
38
databricks/reference-apps

Spark 参考应用

databricks
⭐ 652 Scala 👤 databricks Organization 🕐 已更新 2024-10-03 📅 创建时间 2014-08-19
39
nchammas/flintrock

用于启动Apache Spark集群的命令行工具。

nchammas
⭐ 651 Python 👤 nchammas User 🕐 已更新 2024-12-13 📅 创建时间 2015-06-04
40
infoslack/awesome-kafka

关于Apache Kafka的列表

infoslack
⭐ 595 👤 infoslack User 🕐 已更新 2026-05-05 📅 创建时间 2016-04-29
41
openscoring/openscoring

REST Web 服务,用于 Scikit-Learn、R 和 Apache Spark 模型的真实实时评分(<1 ms)

openscoring
⭐ 587 Java 👤 openscoring Organization 🕐 已更新 2026-02-02 📅 创建时间 2013-04-02
42
spark-examples/spark-scala-examples

此项目提供 Scala 语言中的 Apache Spark SQL、RDD、DataFrame 和 Dataset 示例。

spark-examples
⭐ 567 Scala 👤 spark-examples Organization 🕐 已更新 2024-03-20 📅 创建时间 2019-11-26
43
cas-bigdatalab/piflow

πflow 是一个支持 Spark 的大数据流引擎

cas-bigdatalab
⭐ 541 Python 👤 cas-bigdatalab Organization 🕐 已更新 2026-11-20 📅 创建时间 2018-05-03
44
LearningJournal/Spark-Programming-In-Python

Apache Spark 3 - 初学者 Python Spark 编程

LearningJournal
⭐ 510 Python 👤 LearningJournal User 🕐 已更新 2024-07-25 📅 创建时间 2020-05-31

常见问题解答

1

GitHub 上最受欢迎的 #apache-spark 仓库是什么?

GitHub 上排名第一的开源 #apache-spark 项目是 mlflow/mlflow,拥有 28,920 个 Star。开源AI工程平台,适用于代理、大语言模型(LLMs)和机器学习模型。MLflow使各种规模的团队能够调试、评估、监控和优化生产级AI应用,同时控制成本并管理对模型和数据的访问。

2

#apache-spark 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #apache-spark 项目中,最常见的编程语言是 Scala, Python, Java, Jupyter Notebook。

3

#apache-spark 仓库的排名是如何计算的?

我们跟踪了 44 个标记为 #apache-spark 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 97,788 个 Star,平均每个仓库拥有 2,222 个 Star。排名每日根据 GitHub API 更新。