Git Stars Git Stars

#pyspark Dépôts

Découvrez 35 dépôts GitHub open source actifs associés à #pyspark, cumulant 60,070 étoiles au total (soit une moyenne de 1,716 étoiles par projet). Le projet en tête de ce thème est ibis-project/ibis, avec 6,705 étoiles.

35
Total des Dépôts
60,070
Nombre total d'étoiles
1,716
Moyenne d'Étoiles/Dépôt
1
ibis-project/ibis

la bibliothèque dataframe Python portable

ibis-project
⭐ 6,705 Python 👤 ibis-project Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2015-04-17
2
microsoft/SynapseML

Bibliothèque Python d'apprentissage automatique simple et distribué portant des algorithmes ML pour Spark

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2017-06-05
3
JohnSnowLabs/spark-nlp

Traitement du langage naturel de pointe

JohnSnowLabs
⭐ 4,162 Scala 👤 JohnSnowLabs Organization 🕐 Mis à jour 2026-11-14 📅 Créé 2017-09-24
4
databricks/learning-spark

Exemple de code du livre Learning Spark

databricks
⭐ 3,895 Java 👤 databricks Organization 🕐 Mis à jour 2026-06-30 📅 Créé 2014-06-16
5
lakehq/sail

Remplacement drop-in d'Apache Spark écrit en Rust, unifiant le traitement par lots, le traitement en flux et les charges de travail IA intensives en calcul.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-12-21
6
apache/linkis

Apache Linkis construit une couche de middleware de calcul pour faciliter la connexion, la gouvernance et l'orchestration entre les applications supérieures et les moteurs de données sous-jacents.

apache
⭐ 3,417 Java 👤 apache Organization 🕐 Mis à jour 2026-11-04 📅 Créé 2019-07-23
7
danielbeach/data-engineering-practice

Exercices pratiques d'ingénierie des données

danielbeach
⭐ 2,706 Python 👤 danielbeach User 🕐 Mis à jour 2025-01-08 📅 Créé 2022-02-17
8
awesome-spark/awesome-spark

Une liste organisée d'excellents packages et ressources Apache Spark.

awesome-spark
⭐ 1,903 Shell 👤 awesome-spark Organization 🕐 Mis à jour 2026-02-27 📅 Créé 2016-02-01
9
uber/petastorm

La bibliothèque Petastorm permet l'entraînement et l'évaluation de modèles d'apprentissage profond sur une seule machine ou distribués à partir de jeux de données au format Apache Parquet. Elle prend en charge les frameworks ML tels que Tensorflow, Pytorch et PySpark et peut être utilisée à partir de code Python pur.

uber
⭐ 1,894 Python 👤 uber Organization 🕐 Mis à jour 2026-01-02 📅 Créé 2018-06-15
10
narwhals-dev/narwhals

Couche de compatibilité légère et extensible entre les bibliothèques de dataframes !

narwhals-dev
⭐ 1,754 Python 👤 narwhals-dev Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2024-02-19
11
jadianes/spark-py-notebooks

Tutoriels Apache Spark & Python (pySpark) pour l'analyse de Big Data et l'apprentissage automatique sous forme de carnets IPython / Jupyter

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 Mis à jour 2024-03-16 📅 Créé 2015-05-06
12
hi-primus/optimus

:truck: Flux de travail de préparation de données agiles rendus faciles avec Pandas, Dask, cuDF, Dask-cuDF, Vaex et PySpark

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 Mis à jour 2024-12-02 📅 Créé 2017-07-13
14
spark-examples/pyspark-examples

Exemples de PySpark RDD, DataFrame et Dataset en langage Python

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 Mis à jour 2025-12-07 📅 Créé 2019-11-26
15
jupyter-incubator/sparkmagic

Magics et kernels Jupyter pour travailler avec des clusters Spark distants

jupyter-incubator
⭐ 1,368 Python 👤 jupyter-incubator Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2015-09-21
16
logicalclocks/hopsworks

Hopsworks - Plateforme IA intensive en données avec un Feature Store

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 Mis à jour 2025-02-10 📅 Créé 2018-07-26
17
mahmoudparsian/pyspark-tutorial

PySpark-Tutorial fournit des algorithmes de base à l'aide de PySpark

mahmoudparsian
⭐ 1,276 Jupyter Notebook 👤 mahmoudparsian User 🕐 Mis à jour 2025-05-26 📅 Créé 2015-03-12
18
graphframes/graphframes

GraphFrames est un package pour Apache Spark qui fournit des graphes basés sur DataFrame.

graphframes
⭐ 1,213 Scala 👤 graphframes Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2016-01-20
19
JohnSnowLabs/spark-nlp-workshop

Exemples publics exécutables d'utilisation de NLP de John Snow Labs pour Apache Spark.

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2018-08-20
20
mahmoudparsian/data-algorithms-book

Livre : MapReduce, Spark, Java et Scala pour les algorithmes de données

mahmoudparsian
⭐ 1,083 Java 👤 mahmoudparsian User 🕐 Mis à jour 2024-10-14 📅 Créé 2014-08-06
21
h2oai/sparkling-water

Sparkling Water fournit la fonctionnalité H2O à l'intérieur du cluster Spark

h2oai
⭐ 982 Scala 👤 h2oai Organization 🕐 Mis à jour 2025-11-05 📅 Créé 2014-10-13
22
criteo/autofaiss

Créez automatiquement des indices knn Faiss avec les paramètres de recherche de similarité les plus optimaux.

criteo
⭐ 906 Python 👤 criteo Organization 🕐 Mis à jour 2025-11-04 📅 Créé 2021-04-28
23
PatrikHlobil/Pandas-Bokeh

Backend de tracé Bokeh pour Pandas et GeoPandas

PatrikHlobil
⭐ 889 Python 👤 PatrikHlobil User 🕐 Mis à jour 2024-04-10 📅 Créé 2018-11-23
24
pyspark-ai/pyspark-ai

SDK anglais pour Apache Spark

pyspark-ai
⭐ 879 Python 👤 pyspark-ai Organization 🕐 Mis à jour 2026-10-27 📅 Créé 2023-04-27
25
awslabs/python-deequ

API Python pour Deequ

awslabs
⭐ 826 Jupyter Notebook 👤 awslabs Organization 🕐 Mis à jour 2026-10-24 📅 Créé 2020-11-09
26
HariSekhon/DevOps-Python-tools

80+ Outils CLI DevOps & Données - AWS, GCP, Fonctions Cloud Python GCF, Anonymiseur de Logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Convertisseurs et Validateurs de Données Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr etc.

HariSekhon
⭐ 824 Python 👤 HariSekhon User 🕐 Mis à jour 2026-02-03 📅 Créé 2015-10-27
27
Nike-Inc/koheesio

Framework Python pour la création de pipelines de données efficaces. Il favorise la modularité et la collaboration, permettant la création de pipelines complexes à partir de composants simples et réutilisables.

Nike-Inc
⭐ 818 Python 👤 Nike-Inc Organization 🕐 Mis à jour 2026-10-17 📅 Créé 2024-05-06
28
WeBankFinTech/Scriptis

Scriptis est destiné à l'analyse de données interactive avec développement de scripts (SQL, PySpark, HiveQL), soumission de tâches (Spark, Hive), UDF, fonctions, gestion des ressources et diagnostic intelligent.

WeBankFinTech
⭐ 812 Vue 👤 WeBankFinTech Organization 🕐 Mis à jour 2024-12-11 📅 Créé 2019-07-23
29
MrPowers/chispa

Méthodes d'aide aux tests PySpark avec de beaux messages d'erreur

MrPowers
⭐ 778 Python 👤 MrPowers User 🕐 Mis à jour 2026-11-20 📅 Créé 2019-03-19
30
databricks/tensorframes

[OBSOLÈTE] Wrapper Tensorflow pour DataFrames sur Apache Spark

databricks
⭐ 745 Scala 👤 databricks Organization 🕐 Mis à jour 2024-07-30 📅 Créé 2016-03-04
31
awslabs/aws-glue-libs

Les bibliothèques AWS Glue sont des ajouts et des améliorations à Spark pour les opérations ETL.

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 Mis à jour 2026-10-30 📅 Créé 2017-08-11
32
mrpowers-io/quinn

Méthodes PySpark pour améliorer la productivité des développeurs 📣 👯 🎉

mrpowers-io
⭐ 691 Python 👤 mrpowers-io Organization 🕐 Mis à jour 2026-10-25 📅 Créé 2017-09-15
33
capitalone/datacompy

Comparaison de Pandas, Polars, Spark et Snowpark DataFrame pour les humains et plus !

capitalone
⭐ 669 Python 👤 capitalone Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2018-03-23
34
cluster-apps-on-docker/spark-standalone-cluster-on-docker

Apprenez Apache Spark en Scala, Python (PySpark) et R (SparkR) en construisant votre propre cluster avec une interface JupyterLab sur Docker. :zap:

cluster-apps-on-docker
⭐ 510 Jupyter Notebook 👤 cluster-apps-on-docker Organization 🕐 Mis à jour 2025-11-07 📅 Créé 2020-07-03
35
databrickslabs/dbldatagen

Générez rapidement des données synthétiques pertinentes pour vos projets. Le générateur de données synthétiques de Databricks Labs (également appelé `dbldatagen`) peut servir à produire de grands jeux de données simulés ou synthétiques pour des tests, des preuves de concept (POC) et d’autres usages dans les environnements Databricks, y compris les pipelines Delta Live Tables.

databrickslabs
⭐ 506 Python 👤 databrickslabs Organization 🕐 Mis à jour 2026-10-26 📅 Créé 2019-07-23

Foire aux questions

1

Quel est le dépôt #pyspark le plus populaire sur GitHub ?

Le projet #pyspark open source le mieux classé sur GitHub est ibis-project/ibis, avec 6,705 étoiles. la bibliothèque dataframe Python portable

2

Quels langages de programmation sont les plus utilisés dans les dépôts #pyspark ?

Parmi les projets #pyspark les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Scala, Jupyter Notebook, Java.

3

Comment le classement des dépôts #pyspark est-il calculé ?

Nous suivons 35 dépôts open source actifs associés à #pyspark (500+ étoiles), totalisant 60,070 étoiles, avec une moyenne de 1,716 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.