Git Stars Git Stars

#pyspark Repositories

Entdecke 35 aktive Open-Source-GitHub-Repositories, die mit #pyspark getaggt sind und insgesamt 60,070 Sterne gesammelt haben (durchschnittlich 1,716 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist ibis-project/ibis mit 6,705 Sternen.

35
Gesamtzahl der Repositories
60,070
Gesamtanzahl der Sterne
1,716
Durchschnittliche Sterne/Repo

Insgesamt 35 Repositories

1
ibis-project/ibis

die tragbare Python-Dataframe-Bibliothek

ibis-project
⭐ 6,705 Python 👤 ibis-project Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2015-04-17
2
microsoft/SynapseML

Einfache und verteilte Machine-Learning-Python-Bibliothek zur Portierung von ML-Algorithmen für Spark

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2017-06-05
3
JohnSnowLabs/spark-nlp

State-of-the-Art-Verarbeitung natürlicher Sprache

JohnSnowLabs
⭐ 4,162 Scala 👤 JohnSnowLabs Organization 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2017-09-24
4
databricks/learning-spark

Beispielcode aus dem Buch Learning Spark

databricks
⭐ 3,895 Java 👤 databricks Organization 🕐 Aktualisiert 2026-06-30 📅 Erstellt 2014-06-16
5
lakehq/sail

Drop-in-Ersatz für Apache Spark, geschrieben in Rust, der Batch-Verarbeitung, Stream-Verarbeitung und rechenintensive KI-Workloads vereint.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-12-21
6
apache/linkis

Apache Linkis baut eine Berechnungsmiddleware-Schicht auf, um die Verbindung, Governance und Orchestrierung zwischen den oberen Anwendungen und den zugrunde liegenden Daten-Engines zu erleichtern.

apache
⭐ 3,417 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2019-07-23
7
danielbeach/data-engineering-practice

Daten-Engineering-Übungsaufgaben

danielbeach
⭐ 2,706 Python 👤 danielbeach User 🕐 Aktualisiert 2025-01-08 📅 Erstellt 2022-02-17
8
awesome-spark/awesome-spark

Eine kuratierte Liste von hervorragenden Apache Spark-Paketen und -Ressourcen.

awesome-spark
⭐ 1,903 Shell 👤 awesome-spark Organization 🕐 Aktualisiert 2026-02-27 📅 Erstellt 2016-02-01
9
uber/petastorm

Die Petastorm-Bibliothek ermöglicht das Training und die Evaluierung von Deep-Learning-Modellen auf einzelnen Rechnern oder verteilt aus Datensätzen im Apache Parquet-Format. Sie unterstützt ML-Frameworks wie Tensorflow, Pytorch und PySpark und kann aus reinem Python-Code verwendet werden.

uber
⭐ 1,894 Python 👤 uber Organization 🕐 Aktualisiert 2026-01-02 📅 Erstellt 2018-06-15
10
narwhals-dev/narwhals

Leichte und erweiterbare Kompatibilitätsschicht zwischen Dataframe-Bibliotheken!

narwhals-dev
⭐ 1,754 Python 👤 narwhals-dev Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-02-19
11
jadianes/spark-py-notebooks

Apache Spark & Python (pySpark) Tutorials für Big Data Analysis und Machine Learning als IPython / Jupyter Notebooks

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 Aktualisiert 2024-03-16 📅 Erstellt 2015-05-06
12
hi-primus/optimus

:truck: Agile Data Preparation Workflows leicht gemacht mit Pandas, Dask, cuDF, Dask-cuDF, Vaex und PySpark

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 Aktualisiert 2024-12-02 📅 Erstellt 2017-07-13
14
spark-examples/pyspark-examples

PySpark RDD, DataFrame und Dataset-Beispiele in Python

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 Aktualisiert 2025-12-07 📅 Erstellt 2019-11-26
15
jupyter-incubator/sparkmagic

Jupyter-Magics und -Kernels für die Arbeit mit remote Spark-Clustern

jupyter-incubator
⭐ 1,368 Python 👤 jupyter-incubator Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2015-09-21
16
logicalclocks/hopsworks

Hopsworks - Datenintensive KI-Plattform mit Feature Store

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 Aktualisiert 2025-02-10 📅 Erstellt 2018-07-26
17
mahmoudparsian/pyspark-tutorial

PySpark-Tutorial bietet grundlegende Algorithmen mit PySpark

mahmoudparsian
⭐ 1,276 Jupyter Notebook 👤 mahmoudparsian User 🕐 Aktualisiert 2025-05-26 📅 Erstellt 2015-03-12
18
graphframes/graphframes

GraphFrames ist ein Paket für Apache Spark, das DataFrame-basierte Graphen bereitstellt.

graphframes
⭐ 1,213 Scala 👤 graphframes Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2016-01-20
19
JohnSnowLabs/spark-nlp-workshop

Öffentliche ausführbare Beispiele zur Nutzung von John Snow Labs' NLP für Apache Spark.

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2018-08-20
20
mahmoudparsian/data-algorithms-book

Buch: MapReduce, Spark, Java und Scala für Algorithmen

mahmoudparsian
⭐ 1,083 Java 👤 mahmoudparsian User 🕐 Aktualisiert 2024-10-14 📅 Erstellt 2014-08-06
21
h2oai/sparkling-water

Sparkling Water bietet H2O-Funktionalität innerhalb des Spark-Clusters

h2oai
⭐ 982 Scala 👤 h2oai Organization 🕐 Aktualisiert 2025-11-05 📅 Erstellt 2014-10-13
22
criteo/autofaiss

Erstellen Sie automatisch Faiss knn-Indizes mit den optimalsten Parametern für die Ähnlichkeitssuche.

criteo
⭐ 906 Python 👤 criteo Organization 🕐 Aktualisiert 2025-11-04 📅 Erstellt 2021-04-28
23
PatrikHlobil/Pandas-Bokeh

Bokeh Plotting Backend für Pandas und GeoPandas

PatrikHlobil
⭐ 889 Python 👤 PatrikHlobil User 🕐 Aktualisiert 2024-04-10 📅 Erstellt 2018-11-23
24
pyspark-ai/pyspark-ai

Englische SDK für Apache Spark

pyspark-ai
⭐ 879 Python 👤 pyspark-ai Organization 🕐 Aktualisiert 2026-10-27 📅 Erstellt 2023-04-27
25
awslabs/python-deequ

Python API für Deequ

awslabs
⭐ 826 Jupyter Notebook 👤 awslabs Organization 🕐 Aktualisiert 2026-10-24 📅 Erstellt 2020-11-09
26
HariSekhon/DevOps-Python-tools

80+ DevOps- & Data-CLI-Tools - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark Data Converter & Validator (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr usw.

HariSekhon
⭐ 824 Python 👤 HariSekhon User 🕐 Aktualisiert 2026-02-03 📅 Erstellt 2015-10-27
27
Nike-Inc/koheesio

Python-Framework zum Erstellen effizienter Datenpipelines. Es fördert Modularität und Zusammenarbeit und ermöglicht die Erstellung komplexer Pipelines aus einfachen, wiederverwendbaren Komponenten.

Nike-Inc
⭐ 818 Python 👤 Nike-Inc Organization 🕐 Aktualisiert 2026-10-17 📅 Erstellt 2024-05-06
28
WeBankFinTech/Scriptis

Scriptis ist für die interaktive Datenanalyse mit Skriptentwicklung (SQL, PySpark, HiveQL), Task-Submission (Spark, Hive), UDF, Funktionen, Ressourcenmanagement und intelligenter Diagnose.

WeBankFinTech
⭐ 812 Vue 👤 WeBankFinTech Organization 🕐 Aktualisiert 2024-12-11 📅 Erstellt 2019-07-23
29
MrPowers/chispa

PySpark-Test-Hilfsverfahren mit schönen Fehlermeldungen

MrPowers
⭐ 778 Python 👤 MrPowers User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-03-19
30
databricks/tensorframes

[VERALTET] Tensorflow-Wrapper für DataFrames auf Apache Spark

databricks
⭐ 745 Scala 👤 databricks Organization 🕐 Aktualisiert 2024-07-30 📅 Erstellt 2016-03-04
31
awslabs/aws-glue-libs

AWS Glue-Bibliotheken sind Ergänzungen und Erweiterungen zu Spark für ETL-Operationen.

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 Aktualisiert 2026-10-30 📅 Erstellt 2017-08-11
32
mrpowers-io/quinn

PySpark-Methoden zur Steigerung der Entwicklerproduktivität 📣 👯 🎉

mrpowers-io
⭐ 691 Python 👤 mrpowers-io Organization 🕐 Aktualisiert 2026-10-25 📅 Erstellt 2017-09-15
33
capitalone/datacompy

Vergleich von Pandas, Polars, Spark und Snowpark DataFrame für Menschen und mehr!

capitalone
⭐ 669 Python 👤 capitalone Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2018-03-23
34
cluster-apps-on-docker/spark-standalone-cluster-on-docker

Lernen Sie Apache Spark in Scala, Python (PySpark) und R (SparkR), indem Sie Ihren eigenen Cluster mit einer JupyterLab-Oberfläche auf Docker erstellen. :zap:

cluster-apps-on-docker
⭐ 510 Jupyter Notebook 👤 cluster-apps-on-docker Organization 🕐 Aktualisiert 2025-11-07 📅 Erstellt 2020-07-03
35
databrickslabs/dbldatagen

Generieren Sie schnell relevante synthetische Daten für Ihre Projekte. Der synthetische Datengenerator von Databricks Labs (auch `dbldatagen` genannt) kann verwendet werden, um große simulierte bzw. synthetische Datensätze für Tests, Proofs of Concept (POCs) und andere Zwecke in Databricks-Umgebungen zu erzeugen, einschließlich Delta-Live-Tables-Pipelines.

databrickslabs
⭐ 506 Python 👤 databrickslabs Organization 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2019-07-23

Häufig gestellte Fragen

1

Welches ist das beliebteste #pyspark-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#pyspark-Projekt auf GitHub ist ibis-project/ibis mit 6,705 Sternen. die tragbare Python-Dataframe-Bibliothek

2

Welche Programmiersprachen werden in #pyspark-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #pyspark-Projekten auf GitHub sind Python, Scala, Jupyter Notebook, Java die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #pyspark-Repositories berechnet?

Wir verfolgen 35 aktive Open-Source-Repositories, die mit #pyspark getaggt sind (500+ Sterne), mit insgesamt 60,070 Sternen und durchschnittlich 1,716 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.