Git Stars Git Stars

#spark 仓库

126
仓库总数
513,269
总星标数
4,073
平均每个仓库星标数

共 126 个仓库

51
elastic/elasticsearch-hadoop

:elephant: Elasticsearch 实时搜索和分析与 Hadoop 原生集成

elastic
⭐ 1,966 Java 👤 elastic Organization 🕐 已更新 2026-11-21 📅 创建时间 2013-03-11
52
apache/cassandra-spark-connector

Apache Spark 到 Apache Cassandra 连接器

apache
⭐ 1,948 Scala 👤 apache Organization 🕐 已更新 2025-04-29 📅 创建时间 2014-06-27
53
apache/auron

Apache Auron 是大数据引擎的加速器,利用原生向量化执行来加速查询处理。

apache
⭐ 1,849 Rust 👤 apache Organization 🕐 已更新 2026-11-20 📅 创建时间 2021-06-28
54
collabH/bigdata-growth

大数据知识仓库涉及到数据仓库建模、实时计算、大数据、数据中台、系统设计、Java、算法等。

collabH
⭐ 1,838 Python 👤 collabH User 🕐 已更新 2026-04-18 📅 创建时间 2020-06-10
55
OBenner/data-engineering-interview-questions

2000+ 数据工程师面试题。

OBenner
⭐ 1,815 Python 👤 OBenner User 🕐 已更新 2026-01-13 📅 创建时间 2021-08-08
56
zhonghuasheng/Tutorial

后端 (Java Golang)全栈知识架构体系总结

zhonghuasheng
⭐ 1,756 Shell 👤 zhonghuasheng User 🕐 已更新 2025-07-20 📅 创建时间 2016-01-23
57
apachecn/.github

ApacheCN 开源组织:公告、介绍、成员、活动、交流方式

apachecn
⭐ 1,750 CSS 👤 apachecn Organization 🕐 已更新 2026-11-02 📅 创建时间 2018-07-19
58
strapdata/elassandra

Elassandra = Elasticsearch + Apache Cassandra

strapdata
⭐ 1,718 Java 👤 strapdata Organization 🕐 已更新 2026-05-17 📅 创建时间 2015-08-22
59
jadianes/spark-py-notebooks

Apache Spark & Python (pySpark) 用于大数据分析和机器学习的教程,以 IPython / Jupyter 笔记本形式

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 已更新 2024-03-16 📅 创建时间 2015-05-06
60
almond-sh/almond

Jupyter 的 Scala 内核

almond-sh
⭐ 1,631 Scala 👤 almond-sh Organization 🕐 已更新 2026-11-19 📅 创建时间 2015-03-10
⭐ 1,553 👤 japila-books Organization 🕐 已更新 2026-10-10 📅 创建时间 2015-08-31
62
combust/mleap

MLeap: 将 ML 管道部署到生产环境

combust
⭐ 1,544 Scala 👤 combust Organization 🕐 已更新 2026-11-09 📅 创建时间 2016-08-23
63
hi-primus/optimus

:truck: 使用 Pandas、Dask、cuDF、Dask-cuDF、Vaex 和 PySpark 轻松实现敏捷数据准备工作流

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 已更新 2024-12-02 📅 创建时间 2017-07-13
64
projectnessie/nessie

Nessie:具有类似 Git 语义的数据湖事务目录

projectnessie
⭐ 1,533 Java 👤 projectnessie Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-04-09
65
apache/carbondata

高性能数据存储解决方案

apache
⭐ 1,452 Scala 👤 apache Organization 🕐 已更新 2026-10-02 📅 创建时间 2016-06-28
66
databricks/LearningSparkV2

这是 Learning Spark: Lightning-Fast Data Analytics [2nd Edition] 的 GitHub 仓库

databricks
⭐ 1,396 Scala 👤 databricks Organization 🕐 已更新 2025-01-28 📅 创建时间 2019-02-10
67
HariSekhon/Dockerfiles

50+ DockerHub 公共镜像,用于 Docker & Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak

HariSekhon
⭐ 1,382 Shell 👤 HariSekhon User 🕐 已更新 2026-02-03 📅 创建时间 2016-01-17
68
jupyter-incubator/sparkmagic

用于处理远程 Spark 集群的 Jupyter 魔术和内核

jupyter-incubator
⭐ 1,368 Python 👤 jupyter-incubator Organization 🕐 已更新 2026-11-20 📅 创建时间 2015-09-21
69
apache/datafusion-comet

Apache DataFusion Comet Spark Accelerator

apache
⭐ 1,326 Scala 👤 apache Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-01-15
70
iflytek/datasophon

新一代云原生大数据管理专家,旨在帮助用户快速构建稳定、高效、可扩展的云原生大数据平台。

iflytek
⭐ 1,325 Java 👤 iflytek Organization 🕐 已更新 2025-07-22 📅 创建时间 2022-10-11
71
DTStack/Taier

Taier是一个用于提交、调度、运维和指标信息显示的平台

DTStack
⭐ 1,285 Java 👤 DTStack Organization 🕐 已更新 2026-11-05 📅 创建时间 2021-03-02
72
mahmoudparsian/pyspark-tutorial

PySpark-Tutorial 使用 PySpark 提供基本算法

mahmoudparsian
⭐ 1,276 Jupyter Notebook 👤 mahmoudparsian User 🕐 已更新 2025-05-26 📅 创建时间 2015-03-12
73
zinggAI/zingg

面向人类和智能体的大规模 AI 实体解析、身份解析、主数据管理和去重

zinggAI
⭐ 1,275 Java 👤 zinggAI Organization 🕐 已更新 2026-11-03 📅 创建时间 2021-08-25
74
graphframes/graphframes

GraphFrames 是 Apache Spark 的一个包,提供基于 DataFrame 的图。

graphframes
⭐ 1,213 Scala 👤 graphframes Organization 🕐 已更新 2026-11-12 📅 创建时间 2016-01-20
75
apache/amoro

Apache Amoro(incubating) 是一个构建在开放数据湖格式之上的 Lakehouse 管理系统。

apache
⭐ 1,207 Java 👤 apache Organization 🕐 已更新 2026-11-20 📅 创建时间 2022-07-14
76
abhishek-ch/around-dataengineering

数据工程与机器学习知识中心

abhishek-ch
⭐ 1,140 Python 👤 abhishek-ch User 🕐 已更新 2024-02-02 📅 创建时间 2020-09-18
77
apache/celeborn

Apache Celeborn 是一个弹性的、高性能的 Shuffle 和 spilled 数据服务。

apache
⭐ 1,081 Java 👤 apache Organization 🕐 已更新 2026-11-20 📅 创建时间 2021-12-10
78
metabrainz/listenbrainz-server

ListenBrainz 项目的服务器,包括它提供的前端(javascript/react)代码以及 LB 使用的所有数据处理组件。

metabrainz
⭐ 1,074 Python 👤 metabrainz Organization 🕐 已更新 2026-11-21 📅 创建时间 2015-09-05
79
bigdatagenomics/adam

ADAM 是一个基因组学分析平台,使用了 Apache Avro、Apache Spark 和 Apache Parquet 构建的专业文件格式。Apache 2 许可。

bigdatagenomics
⭐ 1,060 Scala 👤 bigdatagenomics Organization 🕐 已更新 2026-03-17 📅 创建时间 2013-11-19
80
NVIDIA/cudf-spark

用于 Apache Spark 的 NVIDIA cuDF 插件 - 使用 GPU 加速 Apache Spark

NVIDIA
⭐ 1,021 Scala 👤 NVIDIA Organization 🕐 已更新 2026-11-21 📅 创建时间 2020-05-14
81
deanwampler/spark-scala-tutorial

Apache Spark 的免费教程。

deanwampler
⭐ 988 Jupyter Notebook 👤 deanwampler User 🕐 已更新 2026-01-05 📅 创建时间 2014-05-01
82
h2oai/sparkling-water

Sparkling Water 在 Spark 集群内提供 H2O 功能

h2oai
⭐ 982 Scala 👤 h2oai Organization 🕐 已更新 2025-11-05 📅 创建时间 2014-10-13
83
sparklyr/sparklyr

Apache Spark 的 R 接口

sparklyr
⭐ 970 R 👤 sparklyr Organization 🕐 已更新 2026-11-09 📅 创建时间 2016-05-20
84
data-prep-kit/data-prep-kit

面向GenAI应用的开源数据准备项目

data-prep-kit
⭐ 968 HTML 👤 data-prep-kit Organization 🕐 已更新 2026-09-29 📅 创建时间 2024-04-08
85
delta-io/delta-sharing

安全数据共享的开放协议

delta-io
⭐ 965 Scala 👤 delta-io Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-04-08
86
apache/livy

Apache Livy 是一个开源 REST 接口,可从任何地方与 Apache Spark 进行交互。

apache
⭐ 962 Scala 👤 apache Organization 🕐 已更新 2026-10-20 📅 创建时间 2017-06-25
87
microsoft/Mobius

C# 和 F# 语言绑定以及对 Apache Spark 的扩展

microsoft
⭐ 948 C# 👤 microsoft Organization 🕐 已更新 2025-12-11 📅 创建时间 2015-10-27
88
RedisLabs/spark-redis

一个用于 Spark 的连接器,允许从 Redis 集群读取和写入

RedisLabs
⭐ 944 Scala 👤 RedisLabs Organization 🕐 已更新 2026-10-12 📅 创建时间 2015-08-16
89
XHToken/Spark-X2.6

Spark-x2.6 开放模型系列:突破端侧模型智能体能力的极限

XHToken
⭐ 927 👤 XHToken Organization 🕐 已更新 2026-11-04 📅 创建时间 2026-08-24
90
typelevel/frameless

Spark 的表达性类型。

typelevel
⭐ 898 Scala 👤 typelevel Organization 🕐 已更新 2026-10-28 📅 创建时间 2015-03-28
91
pingcap/tispark

TiSpark 是为在 TiDB/TiKV 上运行 Apache Spark 而构建的。

pingcap
⭐ 889 Scala 👤 pingcap Organization 🕐 已更新 2026-08-20 📅 创建时间 2017-05-02
92
ohenley/awesome-ada

Ada 和 SPARK 编程语言相关精选的优秀资源列表

ohenley
⭐ 881 👤 ohenley User 🕐 已更新 2026-11-14 📅 创建时间 2018-10-24
93
awslabs/data-on-eks

DoEKS 是一个用于在 Amazon EKS 上构建、部署和扩展数据平台的工具

awslabs
⭐ 863 Shell 👤 awslabs Organization 🕐 已更新 2026-11-21 📅 创建时间 2022-09-25
94
LucaCanali/sparkMeasure

此仓库包含 sparkMeasure 的开发代码,sparkMeasure 是一个 Apache Spark 性能分析和故障排除库。它简化了 Spark 任务/阶段指标的收集、聚合和导出,并专为开发者和数据工程师在交互式分析、测试和生产监控工作流程中的实际使用而设计。

LucaCanali
⭐ 831 Scala 👤 LucaCanali User 🕐 已更新 2026-10-16 📅 创建时间 2017-03-16
95
HariSekhon/DevOps-Python-tools

80+ DevOps 和数据 CLI 工具 - AWS、GCP、GCF Python Cloud Functions、日志匿名化器、Spark、Hadoop、HBase、Hive、Impala、Linux、Docker、Spark 数据转换器和验证器 (Avro/Parquet/JSON/CSV/INI/XML/YAML)、Travis CI、AWS CloudFormation、Elasticsearch、Solr 等。

HariSekhon
⭐ 824 Python 👤 HariSekhon User 🕐 已更新 2026-02-03 📅 创建时间 2015-10-27
96
WeBankFinTech/Scriptis

Scriptis 用于交互式数据分析,支持脚本开发(SQL、PySpark、HiveQL)、任务提交(Spark、Hive)、UDF、函数、资源管理和智能诊断。

WeBankFinTech
⭐ 812 Vue 👤 WeBankFinTech Organization 🕐 已更新 2024-12-11 📅 创建时间 2019-07-23
98
cdapio/cdap

一个用于构建数据分析应用程序的开源框架。

cdapio
⭐ 791 Java 👤 cdapio Organization 🕐 已更新 2026-11-21 📅 创建时间 2014-08-02
99
a616567126/GPT-WEB-JAVA

基于JDK8 AI 聊天机器人!微信公众号 Midjourney画图、卡密兑换、web 支持ChatGPT、Midjourney画图、sd画图,卡密兑换,易支付,公众号引流,邮件注册🔥

a616567126
⭐ 774 Java 👤 a616567126 User 🕐 已更新 2026-11-18 📅 创建时间 2023-03-28
100
MigoXLab/dingo

Dingo: 一款全面的AI数据、模型和应用质量评估工具

MigoXLab
⭐ 771 Python 👤 MigoXLab Organization 🕐 已更新 2026-11-19 📅 创建时间 2024-12-24