Git Stars Git Stars

#spark Репозитории

Откройте для себя 126 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #spark, с общим числом 513,269 звёзд (в среднем 4,073 на проект). Лидером этой темы является DataTalksClub/data-engineering-zoomcamp, набравший 46,997 звёзд.

126
Всего репозиториев
513,269
Всего звезд
4,073
Среднее количество звезд на репозиторий

Всего репозиториев: 126

1
DataTalksClub/data-engineering-zoomcamp

Data Engineering Zoomcamp — это бесплатный 9-недельный курс по созданию готовых к продакшену пайплайнов данных. Присоединяйтесь к курсу здесь 👇🏼

DataTalksClub
⭐ 46,997 Jupyter Notebook 👤 DataTalksClub Organization 🕐 Обновлено 2026-11-16 📅 Создано 2021-10-21
2
apache/spark

Apache Spark – Унифицированная аналитическая система для обработки больших данных

apache
⭐ 44,593 Scala 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2014-02-25
3
getredash/redash

Сделайте свою компанию управляемой данными. Подключайтесь к любому источнику данных, легко визуализируйте, создавайте панели управления и делитесь своими данными.

getredash
⭐ 28,895 TypeScript 👤 getredash Organization 🕐 Обновлено 2026-11-14 📅 Создано 2013-10-28
4
donnemartin/data-science-ipython-notebooks

Python-ноутбуки по науке о данных: глубокое обучение (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, большие данные (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, основы Python, AWS и различные командные строки.

donnemartin
⭐ 28,776 Python 👤 donnemartin User 🕐 Обновлено 2024-03-20 📅 Создано 2015-01-23
5
yeasy/docker_practice

Самая новая технология Docker-контейнеров: изучайте лучшие практики на основе реальных кейсов! | Изучайте и понимайте технологии Docker и контейнеров, с реальной практикой DevOps.

yeasy
⭐ 26,382 Go 👤 yeasy User 🕐 Обновлено 2026-11-11 📅 Создано 2014-09-05
6
heibaiying/BigData-Notes

Руководство по введению в большие данные :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 Обновлено 2024-01-05 📅 Создано 2019-03-10
7
FavioVazquez/ds-cheatsheets

Список шпаргалок по Data Science, чтобы править миром

FavioVazquez
⭐ 15,921 👤 FavioVazquez User 🕐 Обновлено 2024-07-18 📅 Создано 2018-12-20
8
GaiZhenbiao/ChuanhuChatGPT

Графический интерфейс для API ChatGPT и многих LLM. Поддерживает агентов, ответы на вопросы на основе файлов, дообучение GPT и запросы с веб-поиском. Все с аккуратным пользовательским интерфейсом.

GaiZhenbiao
⭐ 15,237 Python 👤 GaiZhenbiao User 🕐 Обновлено 2026-09-16 📅 Создано 2023-03-02
9
zhisheng17/flink-learning

Блог по изучению Flink. http://www.54tianzhisheng.cn/ Содержит материалы по введению в Flink, концепциям, принципам, практике, настройке производительности, анализу исходного кода и т.д. Включает учебные примеры по Flink Connector, Metrics, Library, DataStream API, Table API & SQL и т.д., а также обмен крупными проектами применения Flink (PVUV, хранение логов, реальное дедупликация миллиардов данных, мониторинг и оповещения). Добро пожаловать поддержать мою колонку «Большой объём данных в реальном времени вычислительный движок Flink: практика и оптимизация производительности».

zhisheng17
⭐ 15,109 Java 👤 zhisheng17 User 🕐 Обновлено 2026-05-06 📅 Создано 2019-01-01
10
aalansehaiyang/technology-talk

【Колонка собеседований в крупных компаниях】 Руководство по технологиям для Java-программистов: здесь есть вопросы для собеседований, системная архитектура, карьерные хитрости, популярные middleware и т.д., чтобы стать круче!

aalansehaiyang
⭐ 14,717 👤 aalansehaiyang User 🕐 Обновлено 2025-07-21 📅 Создано 2016-06-10
11
horovod/horovod

Фреймворк распределенного обучения для TensorFlow, Keras, PyTorch и Apache MXNet.

horovod
⭐ 14,695 Python 👤 horovod Organization 🕐 Обновлено 2026-06-20 📅 Создано 2017-08-09
12
deeplearning4j/deeplearning4j

Набор инструментов для развертывания и обучения моделей глубокого обучения с использованием JVM. Основные возможности включают импорт моделей для Keras, TensorFlow и ONNX/PyTorch, модульную и крошечную библиотеку C++ для выполнения математического кода и математическую библиотеку на основе Java поверх основной библиотеки C++. Также включает samediff: библиотеку, похожую на PyTorch/TensorFlow, для выполнения глубокого обучения...

deeplearning4j
⭐ 14,283 Java 👤 deeplearning4j Organization 🕐 Обновлено 2026-10-05 📅 Создано 2013-11-27
13
tobymao/sqlglot

Python SQL парсер и транспилятор

tobymao
⭐ 9,809 Python 👤 tobymao User 🕐 Обновлено 2026-11-21 📅 Создано 2021-03-13
14
delta-io/delta

Фреймворк хранения с открытым исходным кодом, который позволяет строить архитектуру Lakehouse с использованием вычислительных движков, включая Spark, PrestoDB, Flink, Trino и Hive, а также API

delta-io
⭐ 9,083 Scala 👤 delta-io Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-04-22
15
mage-ai/mage-ai

🧙 Создавайте, запускайте и управляйте конвейерами данных для интеграции и преобразования данных.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-05-16
16
h2oai/h2o-3

H2O — это Open Source, распределенная, быстрая и масштабируемая платформа машинного обучения: Deep Learning, Gradient Boosting (GBM) и XGBoost, Random Forest, Generalized Linear Modeling (GLM с Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML) и т. д.

h2oai
⭐ 7,527 Jupyter Notebook 👤 h2oai Organization 🕐 Обновлено 2026-11-11 📅 Создано 2014-03-03
17
Alluxio/alluxio

Alluxio, оркестровка данных для аналитики и машинного обучения в облаке

Alluxio
⭐ 7,264 Java 👤 Alluxio Organization 🕐 Обновлено 2026-09-01 📅 Создано 2012-12-21
18
Angel-ML/angel

Гибкий и мощный сервер параметров для крупномасштабного машинного обучения

Angel-ML
⭐ 6,797 Java 👤 Angel-ML Organization 🕐 Обновлено 2026-11-19 📅 Создано 2017-04-25
19
apache/zeppelin

Веб-ноутбук, который позволяет проводить data-driven интерактивный анализ данных и создавать совместные документы с использованием SQL, Scala и других инструментов.

apache
⭐ 6,670 Java 👤 apache Organization 🕐 Обновлено 2026-11-20 📅 Создано 2015-03-25
20
microsoft/SynapseML

Простая и распределенная библиотека машинного обучения на Python для переноса алгоритмов ML в Spark

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 Обновлено 2026-11-18 📅 Создано 2017-06-05
21
tencentmusic/cube-studio

cube studio Open-Source Cloud-Native Универсальная AI-платформа для машинного обучения/глубокого обучения/больших моделей, полный процесс алгоритмической цепочки MLOps, платформа аренды вычислительных мощностей, онлайн-разработка в Notebook, оркестровка конвейера задач методом перетаскивания, распределенное обучение на нескольких машинах с несколькими GPU, поиск гиперпараметров, виртуализация VGPU для сервиса инференса, граничные вычисления, автоматизированная разметка на платформе разметки, дообучение SFT больших моделей (deepseek и др.)/модель вознаграждения/обучение с подкреплением, многомашинный инференс больших моделей (vllm/ollama/mindie и др.), частная база знаний, маркетплейс AI-моделей, поддержка отечественных CPU/GPU/NPU экосистемы Ascend, поддержка RDMA, поддержка распределенных фреймворков (pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano и др.)

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 Обновлено 2026-10-09 📅 Создано 2021-08-17
22
apache/streampark

Открытая плоскость управления для данных в реальном времени

apache
⭐ 4,352 Java 👤 apache Organization 🕐 Обновлено 2026-10-31 📅 Создано 2019-05-27
23
JohnSnowLabs/spark-nlp

Передовая обработка естественного языка

JohnSnowLabs
⭐ 4,162 Scala 👤 JohnSnowLabs Organization 🕐 Обновлено 2026-11-14 📅 Создано 2017-09-24
24
RoaringBitmap/RoaringBitmap

Улучшенный сжатый битсет в Java: используется в Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw и многих других

RoaringBitmap
⭐ 3,957 Java 👤 RoaringBitmap Organization 🕐 Обновлено 2026-11-14 📅 Создано 2013-06-17
25
Cyb3rWard0g/HELK

Охотничий ELK

Cyb3rWard0g
⭐ 3,901 Jupyter Notebook 👤 Cyb3rWard0g User 🕐 Обновлено 2024-06-01 📅 Создано 2017-03-14
26
awslabs/deequ

Deequ — это библиотека, построенная на базе Apache Spark для определения «юнит-тестов для данных», которые измеряют качество данных в больших наборах данных.

awslabs
⭐ 3,660 Scala 👤 awslabs Organization 🕐 Обновлено 2026-10-20 📅 Создано 2018-08-07
27
lakehq/sail

Полностью совместимая замена Apache Spark, написанная на Rust, объединяющая пакетную обработку, потоковую обработку и вычислительно интенсивные AI-нагрузки.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-12-21
28
liyupi/sql-generator

🔨 Генерируйте структурированные SQL-запросы с помощью JSON, реализованные на Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, проект простой (сильная логика, легкие страницы), подходит для тренировки~

liyupi
⭐ 3,455 Vue 👤 liyupi User 🕐 Обновлено 2024-01-17 📅 Создано 2022-05-12
29
apache/paimon

Apache Paimon — это формат озера данных, который позволяет создавать архитектуру Realtime Lakehouse с помощью Flink и Spark как для потоковых, так и для пакетных операций.

apache
⭐ 3,454 Java 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2022-01-12
30
apache/linkis

Apache Linkis создает слой вычислительного промежуточного ПО, чтобы облегчить соединение, управление и оркестрацию между верхними приложениями и нижележащими двигателями данных.

apache
⭐ 3,417 Java 👤 apache Organization 🕐 Обновлено 2026-11-04 📅 Создано 2019-07-23
31
databricks/koalas

Koalas: API pandas на Apache Spark

databricks
⭐ 3,368 Python 👤 databricks Organization 🕐 Обновлено 2024-03-20 📅 Создано 2019-01-03
32
WeBankFinTech/DataSphereStudio

DataSphereStudio — это портал для разработки и управления приложениями данных в формате "одно окно", охватывающий сценарии, включая обмен данными, десенсибилизацию/очистку, анализ/добычу данных, измерение качества, визуализацию и планирование задач.

WeBankFinTech
⭐ 3,275 Java 👤 WeBankFinTech Organization 🕐 Обновлено 2025-11-04 📅 Создано 2019-11-24
33
lakesoul-io/LakeSoul

Открытый lakehouse-движок для агентов — с нативной поддержкой Postgres, векторов и Python. Говорит на PostgreSQL, работает в вашем объектном хранилище и написан на Rust.

lakesoul-io
⭐ 3,261 Rust 👤 lakesoul-io Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-12-28
34
MoRan1607/BigDataGuide

Обучение большим данным, Изучение больших данных с нуля, Включает видеоуроки и материалы для собеседований на каждом этапе обучения большим данным

MoRan1607
⭐ 3,259 👤 MoRan1607 User 🕐 Обновлено 2026-01-20 📅 Создано 2019-11-30
35
kubeflow/spark-operator

Оператор Kubernetes для управления жизненным циклом приложений Apache Spark на Kubernetes.

kubeflow
⭐ 3,162 Python 👤 kubeflow Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-01-03
36
Luce-Org/lucebox

Движок инференса Lucebox для гетерогенного оборудования и потребительских GPU

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-03
37
RayXBuilds/Movie_Recommend

Прошлый учебный проект: рекомендации фильмов с помощью Spark, веб-скрейпинг, веб-приложение и бэкенд. Разработка новой версии продолжается в cinematch-recommender.

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 Обновлено 2026-10-21 📅 Создано 2018-04-18
38
spark-jobserver/spark-jobserver

Сервер заданий REST для Apache Spark

spark-jobserver
⭐ 2,833 Scala 👤 spark-jobserver Organization 🕐 Обновлено 2026-03-03 📅 Создано 2014-08-21
39
vector4wang/spring-boot-quick

:herb: Быстрые примеры обучения на основе Spring Boot, интеграция открытых фреймворков, с которыми я сталкивался, например: RabbitMQ (очередь с задержкой), Kafka, JPA, Redis, OAuth2, Swagger, JSP, Docker, K3s, K3d, K8s, плагин шифрования/дешифрования MyBatis, обработка исключений, вывод логов, разработка с несколькими модулями, упаковка для нескольких окружений, кэш cache, веб-краулер, JWT, GraphQL, Dubbo, Zookeeper и Async и т.д. :pushpin:

vector4wang
⭐ 2,789 Java 👤 vector4wang User 🕐 Обновлено 2026-05-16 📅 Создано 2017-03-13
40
moj-analytical-services/splink

Быстрая, точная и масштабируемая вероятностная связь данных с поддержкой нескольких SQL-бэкендов

moj-analytical-services
⭐ 2,592 Python 👤 moj-analytical-services Organization 🕐 Обновлено 2026-11-11 📅 Создано 2019-11-22
41
geekyouth/SZT-bigdata

Система анализа пассажиропотока больших данных метрополитена Шэньчжэня🚇🚄🌟

geekyouth
⭐ 2,469 Scala 👤 geekyouth User 🕐 Обновлено 2026-05-12 📅 Создано 2020-04-13
42
XZB-1248/Spark

✨Spark — это веб-ориентированный, кроссплатформенный и полнофункциональный инструмент удаленного администрирования (RAT), написанный на Go, который позволяет вам контролировать все ваши устройства из любого места. Spark — это написанный на Go, веб-ориентированный, кроссплатформенный и многофункциональный инструмент удаленного управления и мониторинга, позволяющий отслеживать и контролировать все устройства в любое время и в любом месте.

XZB-1248
⭐ 2,412 Go 👤 XZB-1248 User 🕐 Обновлено 2026-03-16 📅 Создано 2022-03-16
43
apache/kyuubi

Apache Kyuubi — это распределенный и многоарендный шлюз для предоставления бессерверного SQL на складах данных и озерных домах.

apache
⭐ 2,379 Scala 👤 apache Organization 🕐 Обновлено 2026-11-19 📅 Создано 2017-12-18
44
ytsaurus/ytsaurus

YTsaurus — это масштабируемая и отказоустойчивая платформа для больших данных с открытым исходным кодом.

ytsaurus
⭐ 2,325 C++ 👤 ytsaurus Organization 🕐 Обновлено 2026-11-21 📅 Создано 2022-12-05
45
o-gs/dji-firmware-tools

Инструменты для работы с прошивками продуктов DJI с акцентом на квадрокоптеры.

o-gs
⭐ 2,309 C 👤 o-gs Organization 🕐 Обновлено 2026-11-11 📅 Создано 2016-08-03
46
salesforce/TransmogrifAI

TransmogrifAI (произносится trăns-mŏgˈrə-fī) — это библиотека AutoML для создания модульных, многократно используемых и строго типизированных рабочих процессов машинного обучения на базе Apache Spark с минимальной ручной настройкой.

salesforce
⭐ 2,280 Scala 👤 salesforce Organization 🕐 Обновлено 2026-06-02 📅 Создано 2017-11-02
47
fugue-project/fugue

Единый интерфейс для распределенных вычислений. Fugue выполняет код SQL, Python, Pandas и Polars на Spark, Dask и Ray без каких-либо переписываний.

fugue-project
⭐ 2,168 Python 👤 fugue-project Organization 🕐 Обновлено 2026-11-12 📅 Создано 2020-03-24
48
zio/zio-quill

Интегрированные в язык запросы во время компиляции для Scala

zio
⭐ 2,165 Scala 👤 zio Organization 🕐 Обновлено 2026-11-21 📅 Создано 2015-07-20
49
dotnet/spark

.NET for Apache® Spark™ делает Apache Spark™ легкодоступным для разработчиков .NET.

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 Обновлено 2026-11-05 📅 Создано 2019-04-22
50
broadinstitute/gatk

Официальный репозиторий кода для GATK версий 4 и выше

broadinstitute
⭐ 2,010 Java 👤 broadinstitute Organization 🕐 Обновлено 2026-11-21 📅 Создано 2014-12-02

Часто задаваемые вопросы

1

Какой репозиторий по теме #spark наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #spark на GitHub — DataTalksClub/data-engineering-zoomcamp, набравший 46,997 звёзд. Data Engineering Zoomcamp — это бесплатный 9-недельный курс по созданию готовых к продакшену пайплайнов данных. Присоединяйтесь к курсу здесь 👇🏼

2

Какие языки программирования чаще всего используются в репозиториях по теме #spark?

Среди наиболее высоко оценённых проектов по теме #spark на GitHub чаще всего используются языки программирования Java, Scala, Python, Jupyter Notebook.

3

Как рассчитывается рейтинг репозиториев по теме #spark?

Мы отслеживаем 126 активных репозиториев с открытым исходным кодом, отмеченных тегом #spark (500 и более звёзд), с общим числом 513,269 звёзд и в среднем 4,073 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.