Git Stars Git Stars

#big-data Репозитории

Откройте для себя 133 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #big-data, с общим числом 683,600 звёзд (в среднем 5,139 на проект). Лидером этой темы является binhnguyennus/awesome-scalability, набравший 75,924 звёзд.

133
Всего репозиториев
683,600
Всего звезд
5,139
Среднее количество звезд на репозиторий
Языки программирования: Java Python Rust C++ Scala JavaScript Go Cython

Всего репозиториев: 133

1
binhnguyennus/awesome-scalability

Паттерны масштабируемых, надежных и высокопроизводительных крупномасштабных систем

binhnguyennus
⭐ 75,924 👤 binhnguyennus User 🕐 Обновлено 2026-01-04 📅 Создано 2017-12-27
2
ClickHouse/ClickHouse

ClickHouse® — это система управления базами данных для аналитики в реальном времени

ClickHouse
⭐ 51,051 C++ 👤 ClickHouse Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-06-02
3
apache/spark

Apache Spark – Унифицированная аналитическая система для обработки больших данных

apache
⭐ 44,593 Scala 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2014-02-25
4
donnemartin/data-science-ipython-notebooks

Python-ноутбуки по науке о данных: глубокое обучение (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, большие данные (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, основы Python, AWS и различные командные строки.

donnemartin
⭐ 28,776 Python 👤 donnemartin User 🕐 Обновлено 2024-03-20 📅 Создано 2015-01-23
5
apache/flink

Apache Flink

apache
⭐ 26,487 Java 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2014-06-07
6
thingsboard/thingsboard

Универсальная IoT-платформа — управление устройствами, сбор, обработка и визуализация данных.

thingsboard
⭐ 22,701 Java 👤 thingsboard Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-12-01
7
amark/gun

Протокол кибербезопасности с открытым исходным кодом для синхронизации децентрализованных графовых данных.

amark
⭐ 19,166 JavaScript 👤 amark User 🕐 Обновлено 2026-11-20 📅 Создано 2014-07-31
8
heibaiying/BigData-Notes

Руководство по введению в большие данные :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 Обновлено 2024-01-05 📅 Создано 2019-03-10
9
prestodb/presto

Официальный сайт распределенного SQL-движка запросов Presto для больших данных

prestodb
⭐ 16,777 Java 👤 prestodb Organization 🕐 Обновлено 2026-11-20 📅 Создано 2012-08-09
10
andkret/Cookbook

Книга рецептов по инженерии данных

andkret
⭐ 15,594 Python 👤 andkret User 🕐 Обновлено 2026-10-16 📅 Создано 2019-03-10
11
trinodb/trino

Официальный репозиторий Trino, распределённого SQL-движка запросов для больших данных, ранее известного как PrestoSQL (https://trino.io)

trinodb
⭐ 13,532 Java 👤 trinodb Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-01-19
12
vesoft-inc/nebula

Распределённая, быстрая открытая графовая база данных с горизонтальной масштабируемостью и высокой доступностью

vesoft-inc
⭐ 12,474 C++ 👤 vesoft-inc Organization 🕐 Обновлено 2026-09-08 📅 Создано 2018-08-28
13
StarRocks/starrocks

Самый быстрый в мире открытый движок запросов для аналитики менее чем за секунду как внутри, так и вне data lakehouse. Благодаря гибкости в поддержке практически любого сценария, StarRocks обеспечивает лучшую в своем классе производительность для многомерного анализа, анализа в реальном времени и ad-hoc запросов. Проект Linux Foundation.

StarRocks
⭐ 12,278 Java 👤 StarRocks Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-09-04
14
quickwit-oss/quickwit

Облачная поисковая система OSS для наблюдаемости

quickwit-oss
⭐ 11,810 Rust 👤 quickwit-oss Organization 🕐 Обновлено 2026-11-20 📅 Создано 2021-04-13
15
provectus/kafka-ui

Веб-интерфейс с открытым исходным кодом для управления Apache Kafka

provectus
⭐ 11,754 Java 👤 provectus Organization 🕐 Обновлено 2024-07-26 📅 Создано 2019-11-26
16
cython/cython

Наиболее широко используемый компилятор Python в C

cython
⭐ 10,898 Cython 👤 cython Organization 🕐 Обновлено 2026-11-19 📅 Создано 2010-11-21
17
apache/datafusion

Механизм SQL-запросов Apache DataFusion

apache
⭐ 9,631 Rust 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2021-04-17
18
catboost/catboost

Быстрая, масштабируемая, высокопроизводительная библиотека Gradient Boosting на деревьях решений, используемая для ранжирования, классификации, регрессии и других задач машинного обучения для Python, R, Java, C++. Поддерживает вычисления на CPU и GPU.

catboost
⭐ 9,210 C++ 👤 catboost Organization 🕐 Обновлено 2026-11-20 📅 Создано 2017-07-18
19
delta-io/delta

Фреймворк хранения с открытым исходным кодом, который позволяет строить архитектуру Lakehouse с использованием вычислительных движков, включая Spark, PrestoDB, Flink, Trino и Hive, а также API

delta-io
⭐ 9,083 Scala 👤 delta-io Organization 🕐 Обновлено 2026-11-21 📅 Создано 2019-04-22
20
apache/beam

Apache Beam — это унифицированная модель программирования для обработки пакетных и потоковых данных.

apache
⭐ 8,723 Java 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-02-02
21
arkime/arkime

Arkime — это система с открытым исходным кодом, большого масштаба, для полного захвата пакетов, индексации и базы данных.

arkime
⭐ 7,583 C 👤 arkime Organization 🕐 Обновлено 2026-11-20 📅 Создано 2012-07-06
22
h2oai/h2o-3

H2O — это Open Source, распределенная, быстрая и масштабируемая платформа машинного обучения: Deep Learning, Gradient Boosting (GBM) и XGBoost, Random Forest, Generalized Linear Modeling (GLM с Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML) и т. д.

h2oai
⭐ 7,527 Jupyter Notebook 👤 h2oai Organization 🕐 Обновлено 2026-11-11 📅 Создано 2014-03-03
23
feast-dev/feast

Открытый исходный код хранилища признаков для ИИ/МО

feast-dev
⭐ 7,362 Python 👤 feast-dev Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-12-10
24
vespa-engine/vespa

Платформа поиска на базе ИИ

vespa-engine
⭐ 7,190 Java 👤 vespa-engine Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-06-03
25
apache/couchdb

Бесшовная база данных с многоузловой синхронизацией и интуитивным API HTTP/JSON, разработанная для надежности

apache
⭐ 7,013 Erlang 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2009-05-21
26
apache/zeppelin

Веб-ноутбук, который позволяет проводить data-driven интерактивный анализ данных и создавать совместные документы с использованием SQL, Scala и других инструментов.

apache
⭐ 6,670 Java 👤 apache Organization 🕐 Обновлено 2026-11-20 📅 Создано 2015-03-25
27
hazelcast/hazelcast

Hazelcast — это унифицированная платформа реального времени для данных, сочетающая обработку потоков с быстрым хранилищем данных, позволяющая клиентам мгновенно реагировать на данные в движении для получения инсайтов в реальном времени.

hazelcast
⭐ 6,636 Java 👤 hazelcast Organization 🕐 Обновлено 2026-11-20 📅 Создано 2012-03-21
28
apache/iotdb

Apache IoTDB

apache
⭐ 6,437 Java 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-11-24
29
pachyderm/pachyderm

Конвейеры, ориентированные на данные, и управление версиями данных

pachyderm
⭐ 6,295 Go 👤 pachyderm Organization 🕐 Обновлено 2025-02-03 📅 Создано 2014-09-04
30
vcaesar/riot

Простой, быстрый и эффективный распределённый поисковый движок для текста и векторов с открытым исходным кодом на Go

vcaesar
⭐ 6,068 Go 👤 vcaesar User 🕐 Обновлено 2026-11-20 📅 Создано 2017-06-21
31
apache/hive

Apache Hive

apache
⭐ 6,038 Java 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2009-05-21
32
Eventual-Inc/Daft

Высокопроизводительный движок данных для рабочих нагрузок ИИ и мультимодальных систем. Обрабатывайте изображения, аудио, видео и структурированные данные в любом масштабе.

Eventual-Inc
⭐ 5,858 Rust 👤 Eventual-Inc Organization 🕐 Обновлено 2026-11-09 📅 Создано 2022-04-25
33
microsoft/SynapseML

Простая и распределенная библиотека машинного обучения на Python для переноса алгоритмов ML в Spark

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 Обновлено 2026-11-18 📅 Создано 2017-06-05
34
apache/calcite

Apache Calcite

apache
⭐ 5,216 Java 👤 apache Organization 🕐 Обновлено 2026-11-19 📅 Создано 2014-06-25
35
apache/ignite

Apache Ignite

apache
⭐ 5,090 Java 👤 apache Organization 🕐 Обновлено 2026-11-20 📅 Создано 2015-02-19
36
tschellenbach/Stream-Framework

Stream Framework — это библиотека Python, которая позволяет создавать ленты новостей, потоки активности и системы уведомлений, используя Cassandra и/или Redis. Авторы Stream-Framework также предоставляют облачный сервис для технологии фидов:

tschellenbach
⭐ 4,739 Python 👤 tschellenbach User 🕐 Обновлено 2025-12-04 📅 Создано 2012-08-08
37
tangbc/vue-virtual-scroll-list

⚡️ Компонент Vue, поддерживающий списки больших объемов данных с высокой производительностью рендеринга и эффективностью.

tangbc
⭐ 4,544 JavaScript 👤 tangbc User 🕐 Обновлено 2024-05-08 📅 Создано 2017-03-17
38
rom1504/img2dataset

Легко превратите большие наборы URL-адресов изображений в набор данных изображений. Можно загрузить, изменить размер и упаковать 100 миллионов URL за 20 часов на одной машине.

rom1504
⭐ 4,458 Python 👤 rom1504 User 🕐 Обновлено 2025-10-19 📅 Создано 2021-08-11
39
crate/crate

CrateDB — это распределённая и масштабируемая база данных SQL для хранения и анализа огромных объёмов данных почти в реальном времени, даже с сложными запросами. Она совместима с PostgreSQL и основана на Lucene.

crate
⭐ 4,456 Java 👤 crate Organization 🕐 Обновлено 2026-11-20 📅 Создано 2013-04-10
40
alibaba/fastjson2

🚄 FASTJSON2 — это библиотека Java JSON с превосходной производительностью.

alibaba
⭐ 4,433 Java 👤 alibaba Organization 🕐 Обновлено 2026-11-15 📅 Создано 2022-04-17
41
Moataz-Elmesmary/Data-Science-Roadmap

Дорожная карта по науке о данных от А до Я

Moataz-Elmesmary
⭐ 4,429 👤 Moataz-Elmesmary User 🕐 Обновлено 2025-12-06 📅 Создано 2022-04-17
42
Rdatatable/data.table

Пакет R data.table расширяет data.frame:

Rdatatable
⭐ 3,930 R 👤 Rdatatable Organization 🕐 Обновлено 2026-11-20 📅 Создано 2014-06-07
43
alibaba/GraphScope

🔨 🍇 💻 🚀 GraphScope: Комплексная система крупномасштабных вычислений графов от Alibaba | Комплексная система вычислений графов

alibaba
⭐ 3,564 C++ 👤 alibaba Organization 🕐 Обновлено 2026-09-23 📅 Создано 2020-10-28
44
lakehq/sail

Полностью совместимая замена Apache Spark, написанная на Rust, объединяющая пакетную обработку, потоковую обработку и вычислительно интенсивные AI-нагрузки.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-12-21
45
apache/datafusion-sqlparser-rs

Расширяемый лексический анализатор и парсер SQL для Rust

apache
⭐ 3,483 Rust 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2018-02-06
⭐ 3,476 HTML 👤 NLPIR-team Organization 🕐 Обновлено 2026-07-30 📅 Создано 2015-05-04
47
apache/paimon

Apache Paimon — это формат озера данных, который позволяет создавать архитектуру Realtime Lakehouse с помощью Flink и Spark как для потоковых, так и для пакетных операций.

apache
⭐ 3,454 Java 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2022-01-12
48
databricks/koalas

Koalas: API pandas на Apache Spark

databricks
⭐ 3,368 Python 👤 databricks Organization 🕐 Обновлено 2024-03-20 📅 Создано 2019-01-03
49
apache/hugegraph

Графовая база данных, поддерживающая более 100+ миллиардов данных, высокую производительность и масштабируемость (Включает OLTP-движок & REST-API & Бэкенды)

apache
⭐ 3,211 Java 👤 apache Organization 🕐 Обновлено 2026-11-19 📅 Создано 2018-07-18
50
TuiQiao/CBoard

Простая в использовании платформа самостоятельного обслуживания с открытыми BI-отчетами и BI-панелями.

TuiQiao
⭐ 3,099 JavaScript 👤 TuiQiao Organization 🕐 Обновлено 2026-11-16 📅 Создано 2016-09-21

Часто задаваемые вопросы

1

Какой репозиторий по теме #big-data наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #big-data на GitHub — binhnguyennus/awesome-scalability, набравший 75,924 звёзд. Паттерны масштабируемых, надежных и высокопроизводительных крупномасштабных систем

2

Какие языки программирования чаще всего используются в репозиториях по теме #big-data?

Среди наиболее высоко оценённых проектов по теме #big-data на GitHub чаще всего используются языки программирования Java, Python, Rust, C++.

3

Как рассчитывается рейтинг репозиториев по теме #big-data?

Мы отслеживаем 133 активных репозиториев с открытым исходным кодом, отмеченных тегом #big-data (500 и более звёзд), с общим числом 683,600 звёзд и в среднем 5,139 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.