Git Stars Git Stars

#pyspark Репозитории

Откройте для себя 35 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #pyspark, с общим числом 60,070 звёзд (в среднем 1,716 на проект). Лидером этой темы является ibis-project/ibis, набравший 6,705 звёзд.

35
Всего репозиториев
60,070
Всего звезд
1,716
Среднее количество звезд на репозиторий
Языки программирования: Python Scala Jupyter Notebook Java Rust Shell Vue

Всего репозиториев: 35

1
ibis-project/ibis

переносимая библиотека Python для работы с датафреймами

ibis-project
⭐ 6,705 Python 👤 ibis-project Organization 🕐 Обновлено 2026-11-20 📅 Создано 2015-04-17
2
microsoft/SynapseML

Простая и распределенная библиотека машинного обучения на Python для переноса алгоритмов ML в Spark

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 Обновлено 2026-11-18 📅 Создано 2017-06-05
3
JohnSnowLabs/spark-nlp

Передовая обработка естественного языка

JohnSnowLabs
⭐ 4,162 Scala 👤 JohnSnowLabs Organization 🕐 Обновлено 2026-11-14 📅 Создано 2017-09-24
4
databricks/learning-spark

Пример кода из книги Learning Spark

databricks
⭐ 3,895 Java 👤 databricks Organization 🕐 Обновлено 2026-06-30 📅 Создано 2014-06-16
5
lakehq/sail

Полностью совместимая замена Apache Spark, написанная на Rust, объединяющая пакетную обработку, потоковую обработку и вычислительно интенсивные AI-нагрузки.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-12-21
6
apache/linkis

Apache Linkis создает слой вычислительного промежуточного ПО, чтобы облегчить соединение, управление и оркестрацию между верхними приложениями и нижележащими двигателями данных.

apache
⭐ 3,417 Java 👤 apache Organization 🕐 Обновлено 2026-11-04 📅 Создано 2019-07-23
7
danielbeach/data-engineering-practice

Практические задачи по инженерии данных

danielbeach
⭐ 2,706 Python 👤 danielbeach User 🕐 Обновлено 2025-01-08 📅 Создано 2022-02-17
8
awesome-spark/awesome-spark

Курируемый список отличных пакетов и ресурсов Apache Spark.

awesome-spark
⭐ 1,903 Shell 👤 awesome-spark Organization 🕐 Обновлено 2026-02-27 📅 Создано 2016-02-01
9
uber/petastorm

Библиотека Petastorm обеспечивает обучение и оценку моделей глубокого обучения на одном компьютере или в распределенной среде из наборов данных в формате Apache Parquet. Она поддерживает ML-фреймворки, такие как Tensorflow, Pytorch и PySpark, и может использоваться из чистого кода Python.

uber
⭐ 1,894 Python 👤 uber Organization 🕐 Обновлено 2026-01-02 📅 Создано 2018-06-15
10
narwhals-dev/narwhals

Легкий и расширяемый слой совместимости между библиотеками фреймов данных!

narwhals-dev
⭐ 1,754 Python 👤 narwhals-dev Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-02-19
11
jadianes/spark-py-notebooks

Учебные пособия по Apache Spark & Python (pySpark) для анализа больших данных и машинного обучения в виде IPython / Jupyter блокнотов

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 Обновлено 2024-03-16 📅 Создано 2015-05-06
12
hi-primus/optimus

:truck: Гибкие рабочие процессы подготовки данных, упрощенные с помощью Pandas, Dask, cuDF, Dask-cuDF, Vaex и PySpark

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 Обновлено 2024-12-02 📅 Создано 2017-07-13
14
spark-examples/pyspark-examples

Примеры PySpark RDD, DataFrame и Dataset на языке Python

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 Обновлено 2025-12-07 📅 Создано 2019-11-26
15
jupyter-incubator/sparkmagic

Магические команды и ядра Jupyter для работы с удалёнными кластерами Spark

jupyter-incubator
⭐ 1,368 Python 👤 jupyter-incubator Organization 🕐 Обновлено 2026-11-20 📅 Создано 2015-09-21
16
logicalclocks/hopsworks

Hopsworks - Платформа ИИ с интенсивным использованием данных и хранилищем признаков

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 Обновлено 2025-02-10 📅 Создано 2018-07-26
17
mahmoudparsian/pyspark-tutorial

PySpark-Tutorial предоставляет базовые алгоритмы с использованием PySpark

mahmoudparsian
⭐ 1,276 Jupyter Notebook 👤 mahmoudparsian User 🕐 Обновлено 2025-05-26 📅 Создано 2015-03-12
18
graphframes/graphframes

GraphFrames — это пакет для Apache Spark, который предоставляет графы на основе DataFrame.

graphframes
⭐ 1,213 Scala 👤 graphframes Organization 🕐 Обновлено 2026-11-12 📅 Создано 2016-01-20
19
JohnSnowLabs/spark-nlp-workshop

Публичные исполняемые примеры использования NLP от John Snow Labs для Apache Spark.

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 Обновлено 2026-11-17 📅 Создано 2018-08-20
20
mahmoudparsian/data-algorithms-book

Книга "MapReduce, Spark, Java и Scala для алгоритмов обработки данных"

mahmoudparsian
⭐ 1,083 Java 👤 mahmoudparsian User 🕐 Обновлено 2024-10-14 📅 Создано 2014-08-06
21
h2oai/sparkling-water

Sparkling Water обеспечивает функциональность H2O внутри кластера Spark

h2oai
⭐ 982 Scala 👤 h2oai Organization 🕐 Обновлено 2025-11-05 📅 Создано 2014-10-13
22
criteo/autofaiss

Автоматически создавайте Faiss knn индексы с наиболее оптимальными параметрами поиска по сходству.

criteo
⭐ 906 Python 👤 criteo Organization 🕐 Обновлено 2025-11-04 📅 Создано 2021-04-28
23
PatrikHlobil/Pandas-Bokeh

Backend построения графиков Bokeh для Pandas и GeoPandas

PatrikHlobil
⭐ 889 Python 👤 PatrikHlobil User 🕐 Обновлено 2024-04-10 📅 Создано 2018-11-23
24
pyspark-ai/pyspark-ai

Английский SDK для Apache Spark

pyspark-ai
⭐ 879 Python 👤 pyspark-ai Organization 🕐 Обновлено 2026-10-27 📅 Создано 2023-04-27
25
awslabs/python-deequ

Python API для Deequ

awslabs
⭐ 826 Jupyter Notebook 👤 awslabs Organization 🕐 Обновлено 2026-10-24 📅 Создано 2020-11-09
26
HariSekhon/DevOps-Python-tools

80+ инструментов CLI DevOps и данных - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Конвертеры и валидаторы данных Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr и т.д.

HariSekhon
⭐ 824 Python 👤 HariSekhon User 🕐 Обновлено 2026-02-03 📅 Создано 2015-10-27
27
Nike-Inc/koheesio

Python-фреймворк для создания эффективных конвейеров данных. Он способствует модульности и сотрудничеству, позволяя создавать сложные конвейеры из простых, многократно используемых компонентов.

Nike-Inc
⭐ 818 Python 👤 Nike-Inc Organization 🕐 Обновлено 2026-10-17 📅 Создано 2024-05-06
28
WeBankFinTech/Scriptis

Scriptis предназначен для интерактивного анализа данных с разработкой скриптов (SQL, PySpark, HiveQL), отправкой задач (Spark, Hive), UDF, функциями, управлением ресурсами и интеллектуальной диагностикой.

WeBankFinTech
⭐ 812 Vue 👤 WeBankFinTech Organization 🕐 Обновлено 2024-12-11 📅 Создано 2019-07-23
29
MrPowers/chispa

Вспомогательные методы тестирования PySpark с красивыми сообщениями об ошибках

MrPowers
⭐ 778 Python 👤 MrPowers User 🕐 Обновлено 2026-11-20 📅 Создано 2019-03-19
30
databricks/tensorframes

[УСТАРЕЛО] Обертка Tensorflow для DataFrames на Apache Spark

databricks
⭐ 745 Scala 👤 databricks Organization 🕐 Обновлено 2024-07-30 📅 Создано 2016-03-04
31
awslabs/aws-glue-libs

Библиотеки AWS Glue — это дополнения и улучшения Spark для операций ETL.

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 Обновлено 2026-10-30 📅 Создано 2017-08-11
32
mrpowers-io/quinn

Методы PySpark для повышения продуктивности разработчиков 📣 👯 🎉

mrpowers-io
⭐ 691 Python 👤 mrpowers-io Organization 🕐 Обновлено 2026-10-25 📅 Создано 2017-09-15
33
capitalone/datacompy

Сравнение Pandas, Polars, Spark и Snowpark DataFrame для людей и многое другое!

capitalone
⭐ 669 Python 👤 capitalone Organization 🕐 Обновлено 2026-11-16 📅 Создано 2018-03-23
34
cluster-apps-on-docker/spark-standalone-cluster-on-docker

Изучите Apache Spark на Scala, Python (PySpark) и R (SparkR), создав собственный кластер с интерфейсом JupyterLab на Docker. :zap:

cluster-apps-on-docker
⭐ 510 Jupyter Notebook 👤 cluster-apps-on-docker Organization 🕐 Обновлено 2025-11-07 📅 Создано 2020-07-03
35
databrickslabs/dbldatagen

Быстро создавайте релевантные синтетические данные для своих проектов. Генератор синтетических данных Databricks Labs (также известный как `dbldatagen`) можно использовать для создания больших наборов симулированных или синтетических данных для тестирования, проверки концепции (POC) и других целей в средах Databricks, включая конвейеры Delta Live Tables.

databrickslabs
⭐ 506 Python 👤 databrickslabs Organization 🕐 Обновлено 2026-10-26 📅 Создано 2019-07-23

Часто задаваемые вопросы

1

Какой репозиторий по теме #pyspark наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #pyspark на GitHub — ibis-project/ibis, набравший 6,705 звёзд. переносимая библиотека Python для работы с датафреймами

2

Какие языки программирования чаще всего используются в репозиториях по теме #pyspark?

Среди наиболее высоко оценённых проектов по теме #pyspark на GitHub чаще всего используются языки программирования Python, Scala, Jupyter Notebook, Java.

3

Как рассчитывается рейтинг репозиториев по теме #pyspark?

Мы отслеживаем 35 активных репозиториев с открытым исходным кодом, отмеченных тегом #pyspark (500 и более звёзд), с общим числом 60,070 звёзд и в среднем 1,716 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.