Git Stars Git Stars

#pyspark 仓库

探索 35 个标记为 #pyspark 的活跃开源 GitHub 仓库,它们累计获得 60,070 个 Star(平均每个项目 1,716 个)。该主题的领先项目是 ibis-project/ibis,拥有 6,705 个 Star。

35
仓库总数
60,070
总星标数
1,716
平均每个仓库星标数
1
ibis-project/ibis

便携式 Python 数据框库

ibis-project
⭐ 6,705 Python 👤 ibis-project Organization 🕐 已更新 2026-11-20 📅 创建时间 2015-04-17
2
microsoft/SynapseML

用于将机器学习算法移植到 Spark 的简单分布式机器学习 Python 库

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 已更新 2026-11-18 📅 创建时间 2017-06-05
3
JohnSnowLabs/spark-nlp

最先进的自然语言处理

JohnSnowLabs
⭐ 4,162 Scala 👤 JohnSnowLabs Organization 🕐 已更新 2026-11-14 📅 创建时间 2017-09-24
4
databricks/learning-spark

来自 Learning Spark 书籍的示例代码

databricks
⭐ 3,895 Java 👤 databricks Organization 🕐 已更新 2026-06-30 📅 创建时间 2014-06-16
5
lakehq/sail

用 Rust 编写的即插即用 Apache Spark 替代品,统一批处理、流处理和计算密集型 AI 工作负载。

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-12-21
6
apache/linkis

Apache Linkis 构建了一个计算中间件层,以促进上层应用与底层数据引擎之间的连接、治理和编排。

apache
⭐ 3,417 Java 👤 apache Organization 🕐 已更新 2026-11-04 📅 创建时间 2019-07-23
⭐ 2,706 Python 👤 danielbeach User 🕐 已更新 2025-01-08 📅 创建时间 2022-02-17
8
awesome-spark/awesome-spark

精选的精选Apache Spark软件包和资源列表。

awesome-spark
⭐ 1,903 Shell 👤 awesome-spark Organization 🕐 已更新 2026-02-27 📅 创建时间 2016-02-01
9
uber/petastorm

Petastorm 库支持在 Apache Parquet 格式的数据集上,对深度学习模型进行单机或分布式训练和评估。它支持 Tensorflow、Pytorch 和 PySpark 等机器学习框架,并可从纯 Python 代码中使用。

uber
⭐ 1,894 Python 👤 uber Organization 🕐 已更新 2026-01-02 📅 创建时间 2018-06-15
10
narwhals-dev/narwhals

轻量级且可扩展的数据框库之间的兼容层!

narwhals-dev
⭐ 1,754 Python 👤 narwhals-dev Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-02-19
11
jadianes/spark-py-notebooks

Apache Spark & Python (pySpark) 用于大数据分析和机器学习的教程,以 IPython / Jupyter 笔记本形式

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 已更新 2024-03-16 📅 创建时间 2015-05-06
12
hi-primus/optimus

:truck: 使用 Pandas、Dask、cuDF、Dask-cuDF、Vaex 和 PySpark 轻松实现敏捷数据准备工作流

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 已更新 2024-12-02 📅 创建时间 2017-07-13
14
spark-examples/pyspark-examples

Python 语言中的 PySpark RDD、DataFrame 和 Dataset 示例

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 已更新 2025-12-07 📅 创建时间 2019-11-26
15
jupyter-incubator/sparkmagic

用于处理远程 Spark 集群的 Jupyter 魔术和内核

jupyter-incubator
⭐ 1,368 Python 👤 jupyter-incubator Organization 🕐 已更新 2026-11-20 📅 创建时间 2015-09-21
16
logicalclocks/hopsworks

Hopsworks - 具有 Feature Store 的数据密集型 AI 平台

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 已更新 2025-02-10 📅 创建时间 2018-07-26
17
mahmoudparsian/pyspark-tutorial

PySpark-Tutorial 使用 PySpark 提供基本算法

mahmoudparsian
⭐ 1,276 Jupyter Notebook 👤 mahmoudparsian User 🕐 已更新 2025-05-26 📅 创建时间 2015-03-12
18
graphframes/graphframes

GraphFrames 是 Apache Spark 的一个包,提供基于 DataFrame 的图。

graphframes
⭐ 1,213 Scala 👤 graphframes Organization 🕐 已更新 2026-11-12 📅 创建时间 2016-01-20
19
JohnSnowLabs/spark-nlp-workshop

使用 John Snow Labs 的 Apache Spark NLP 的公共可运行示例。

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 已更新 2026-11-17 📅 创建时间 2018-08-20
20
mahmoudparsian/data-algorithms-book

数据算法丛书:MapReduce、Spark、Java 和 Scala

mahmoudparsian
⭐ 1,083 Java 👤 mahmoudparsian User 🕐 已更新 2024-10-14 📅 创建时间 2014-08-06
21
h2oai/sparkling-water

Sparkling Water 在 Spark 集群内提供 H2O 功能

h2oai
⭐ 982 Scala 👤 h2oai Organization 🕐 已更新 2025-11-05 📅 创建时间 2014-10-13
22
criteo/autofaiss

自动创建具有最优相似性搜索参数的 Faiss knn 索引。

criteo
⭐ 906 Python 👤 criteo Organization 🕐 已更新 2025-11-04 📅 创建时间 2021-04-28
23
PatrikHlobil/Pandas-Bokeh

Pandas 和 GeoPandas 的 Bokeh 绘图后端

PatrikHlobil
⭐ 889 Python 👤 PatrikHlobil User 🕐 已更新 2024-04-10 📅 创建时间 2018-11-23
24
pyspark-ai/pyspark-ai

Apache Spark 的英文 SDK

pyspark-ai
⭐ 879 Python 👤 pyspark-ai Organization 🕐 已更新 2026-10-27 📅 创建时间 2023-04-27
25
awslabs/python-deequ

Deequ的Python API

awslabs
⭐ 826 Jupyter Notebook 👤 awslabs Organization 🕐 已更新 2026-10-24 📅 创建时间 2020-11-09
26
HariSekhon/DevOps-Python-tools

80+ DevOps 和数据 CLI 工具 - AWS、GCP、GCF Python Cloud Functions、日志匿名化器、Spark、Hadoop、HBase、Hive、Impala、Linux、Docker、Spark 数据转换器和验证器 (Avro/Parquet/JSON/CSV/INI/XML/YAML)、Travis CI、AWS CloudFormation、Elasticsearch、Solr 等。

HariSekhon
⭐ 824 Python 👤 HariSekhon User 🕐 已更新 2026-02-03 📅 创建时间 2015-10-27
27
Nike-Inc/koheesio

用于构建高效数据管道的 Python 框架。它促进模块化和协作,能够通过简单、可重用的组件创建复杂的管道。

Nike-Inc
⭐ 818 Python 👤 Nike-Inc Organization 🕐 已更新 2026-10-17 📅 创建时间 2024-05-06
28
WeBankFinTech/Scriptis

Scriptis 用于交互式数据分析,支持脚本开发(SQL、PySpark、HiveQL)、任务提交(Spark、Hive)、UDF、函数、资源管理和智能诊断。

WeBankFinTech
⭐ 812 Vue 👤 WeBankFinTech Organization 🕐 已更新 2024-12-11 📅 创建时间 2019-07-23
29
MrPowers/chispa

PySpark 测试辅助方法,带有精美的错误消息

MrPowers
⭐ 778 Python 👤 MrPowers User 🕐 已更新 2026-11-20 📅 创建时间 2019-03-19
30
databricks/tensorframes

[DEPRECATED] Apache Spark 上 DataFrames 的 Tensorflow 包装器

databricks
⭐ 745 Scala 👤 databricks Organization 🕐 已更新 2024-07-30 📅 创建时间 2016-03-04
31
awslabs/aws-glue-libs

AWS Glue 库是针对 ETL 操作对 Spark 的添加和增强。

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 已更新 2026-10-30 📅 创建时间 2017-08-11
32
mrpowers-io/quinn

PySpark 方法提升开发者生产力 📣 👯 🎉

mrpowers-io
⭐ 691 Python 👤 mrpowers-io Organization 🕐 已更新 2026-10-25 📅 创建时间 2017-09-15
33
capitalone/datacompy

Pandas、Polars、Spark 和 Snowpark DataFrame 比较,针对人类以及更多!

capitalone
⭐ 669 Python 👤 capitalone Organization 🕐 已更新 2026-11-16 📅 创建时间 2018-03-23
34
cluster-apps-on-docker/spark-standalone-cluster-on-docker

通过在 Docker 上使用 JupyterLab 界面构建您自己的集群,来学习使用 Scala、Python (PySpark) 和 R (SparkR) 中的 Apache Spark。 :zap:

cluster-apps-on-docker
⭐ 510 Jupyter Notebook 👤 cluster-apps-on-docker Organization 🕐 已更新 2025-11-07 📅 创建时间 2020-07-03
35
databrickslabs/dbldatagen

快速为您的项目生成相关的合成数据。Databricks Labs 合成数据生成器(又称 `dbldatagen`)可用于在 Databricks 环境中生成大型模拟/合成数据集,用于测试、概念验证(POC)及其他用途,包括 Delta Live Tables 管道。

databrickslabs
⭐ 506 Python 👤 databrickslabs Organization 🕐 已更新 2026-10-26 📅 创建时间 2019-07-23

常见问题解答

1

GitHub 上最受欢迎的 #pyspark 仓库是什么?

GitHub 上排名第一的开源 #pyspark 项目是 ibis-project/ibis,拥有 6,705 个 Star。便携式 Python 数据框库

2

#pyspark 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #pyspark 项目中,最常见的编程语言是 Python, Scala, Jupyter Notebook, Java。

3

#pyspark 仓库的排名是如何计算的?

我们跟踪了 35 个标记为 #pyspark 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 60,070 个 Star,平均每个仓库拥有 1,716 个 Star。排名每日根据 GitHub API 更新。