Git Stars Git Stars

#bigdata Репозитории

Откройте для себя 51 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #bigdata, с общим числом 261,861 звёзд (в среднем 5,134 на проект). Лидером этой темы является DataExpert-io/data-engineer-handbook, набравший 45,237 звёзд.

51
Всего репозиториев
261,861
Всего звезд
5,134
Среднее количество звезд на репозиторий

Всего репозиториев: 51

1
DataExpert-io/data-engineer-handbook

Это репозиторий со ссылками на все, что вы когда-либо хотели узнать о разработке данных

DataExpert-io
⭐ 45,237 Jupyter Notebook 👤 DataExpert-io Organization 🕐 Обновлено 2026-08-03 📅 Создано 2023-11-19
2
rustfs/rustfs

RustFS — это высокопроизводительная объектная система хранения с открытым исходным кодом и совместимостью с S3, поддерживающая миграцию и совместную работу с другими S3-совместимыми платформами, такими как MinIO и Ceph.

rustfs
⭐ 36,341 Rust 👤 rustfs Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-11-23
3
taosdata/TDengine

Высокопроизводительная, масштабируемая база данных временных рядов, разработанная для сценариев промышленного Интернета вещей (IIoT)

taosdata
⭐ 25,203 C 👤 taosdata Organization 🕐 Обновлено 2026-11-15 📅 Создано 2019-07-11
4
apache/shardingsphere

Расширение возможностей интеллекта данных с помощью распределенного SQL для шардинга, масштабируемости и безопасности во всех базах данных.

apache
⭐ 20,832 Java 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-01-18
5
heibaiying/BigData-Notes

Руководство по введению в большие данные :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 Обновлено 2024-01-05 📅 Создано 2019-03-10
6
juicedata/juicefs

JuiceFS — это распределенная файловая система POSIX, построенная на основе Redis и S3.

juicedata
⭐ 14,766 Go 👤 juicedata Organization 🕐 Обновлено 2026-11-20 📅 Создано 2021-01-08
7
oxnr/awesome-bigdata

Курируемый список потрясающих фреймворков для больших данных, ресурсов и других замечательных вещей.

oxnr
⭐ 14,744 👤 oxnr User 🕐 Обновлено 2026-11-13 📅 Создано 2014-07-04
8
databendlabs/databend

Data Agent Ready Warehouse: Один для Analytics, Поиска, ИИ, Python Sandbox. — полностью перестроен с нуля. Единая архитектура на вашем S3.

databendlabs
⭐ 9,502 Rust 👤 databendlabs Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-10-10
9
vaexio/vaex

Внеядерный гибридный DataFrame Apache Arrow/NumPy для Python, ML, визуализации и исследования больших табличных данных со скоростью миллиард строк в секунду 🚀

vaexio
⭐ 8,518 Python 👤 vaexio Organization 🕐 Обновлено 2026-11-06 📅 Создано 2014-09-27
10
apache/hudi

Upserts, удаления и инкрементальная обработка больших данных.

apache
⭐ 6,387 Java 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-12-14
11
volcano-sh/volcano

Облачная нативная система пакетной обработки (Проект под CNCF)

volcano-sh
⭐ 6,106 Go 👤 volcano-sh Organization 🕐 Обновлено 2026-11-19 📅 Создано 2019-03-14
12
iGaoWei/BigDataView

100+ наборов крутых шаблонов HTML5 для больших экранов визуализации больших данных; Включенные отрасли: сообщество, управление недвижимостью, государственные дела, транспорт, финансовые банки и т. д., новейшие, самые многочисленные, самые полные, самые крутые и самые впечатляющие шаблоны визуализации больших данных во всей сети. Постепенное обновление.

iGaoWei
⭐ 5,352 JavaScript 👤 iGaoWei User 🕐 Обновлено 2025-10-24 📅 Создано 2021-07-29
13
DTStack/chunjun

Фреймворк интеграции данных

DTStack
⭐ 4,107 Java 👤 DTStack Organization 🕐 Обновлено 2026-10-09 📅 Создано 2018-04-03
14
liyupi/sql-generator

🔨 Генерируйте структурированные SQL-запросы с помощью JSON, реализованные на Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, проект простой (сильная логика, легкие страницы), подходит для тренировки~

liyupi
⭐ 3,455 Vue 👤 liyupi User 🕐 Обновлено 2024-01-17 📅 Создано 2022-05-12
15
apache/avro

Apache Avro — это система сериализации данных.

apache
⭐ 3,314 Java 👤 apache Organization 🕐 Обновлено 2026-11-21 📅 Создано 2009-05-21
16
MoRan1607/BigDataGuide

Обучение большим данным, Изучение больших данных с нуля, Включает видеоуроки и материалы для собеседований на каждом этапе обучения большим данным

MoRan1607
⭐ 3,259 👤 MoRan1607 User 🕐 Обновлено 2026-01-20 📅 Создано 2019-11-30
17
griddb/griddb

GridDB — это база данных открытого исходного кода следующего поколения, которая делает временные ряды IoT и большие данные быстрыми и простыми.

griddb
⭐ 2,470 C++ 👤 griddb Organization 🕐 Обновлено 2026-03-19 📅 Создано 2016-02-24
18
apconw/Aix-DB

Aix-DB, основанный на фреймворке LangChain/LangGraph и объединенный с архитектурой многоагентного сотрудничества MCP Skills, обеспечивает конверсию от естественного языка к аналитике данных на уровне конца в конец.

apconw
⭐ 2,268 JavaScript 👤 apconw User 🕐 Обновлено 2026-11-06 📅 Создано 2024-11-15
19
dotnet/spark

.NET for Apache® Spark™ делает Apache Spark™ легкодоступным для разработчиков .NET.

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 Обновлено 2026-11-05 📅 Создано 2019-04-22
20
DTStack/flinkStreamSQL

На основе открытого Flink, расширяет его SQL в реальном времени; в основном реализует join между потоками и таблицами измерений, поддерживает весь синтаксис нативного Flink SQL

DTStack
⭐ 2,058 Java 👤 DTStack Organization 🕐 Обновлено 2024-02-21 📅 Создано 2018-09-12
21
byzer-org/byzer-lang

Byzer (ранее MLSQL): Низкоуровневый язык программирования с открытым исходным кодом для конвейеров данных, аналитики и ИИ.

byzer-org
⭐ 1,849 Scala 👤 byzer-org Organization 🕐 Обновлено 2024-05-29 📅 Создано 2016-04-28
22
collabH/bigdata-growth

Репозиторий знаний больших данных включает моделирование хранилищ данных, обработку данных в реальном времени, большие данные, централизованную платформу данных, проектирование систем, Java, алгоритмы и т. д.

collabH
⭐ 1,838 Python 👤 collabH User 🕐 Обновлено 2026-04-18 📅 Создано 2020-06-10
23
Netflix/genie

Сервис оркестрации распределенных больших данных

Netflix
⭐ 1,766 Java 👤 Netflix Organization 🕐 Обновлено 2026-11-21 📅 Создано 2013-06-20
24
YoongiKim/AutoCrawler

Google, Naver многопроцессный веб-краулер изображений (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 Обновлено 2026-11-12 📅 Создано 2018-11-21
25
jadianes/spark-py-notebooks

Учебные пособия по Apache Spark & Python (pySpark) для анализа больших данных и машинного обучения в виде IPython / Jupyter блокнотов

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 Обновлено 2024-03-16 📅 Создано 2015-05-06
26
hi-primus/optimus

:truck: Гибкие рабочие процессы подготовки данных, упрощенные с помощью Pandas, Dask, cuDF, Dask-cuDF, Vaex и PySpark

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 Обновлено 2024-12-02 📅 Создано 2017-07-13
27
opendatadiscovery/odd-platform

Первая платформа с открытым исходным кодом для обнаружения и наблюдаемости данных. Мы облегчаем жизнь специалистам по данным, чтобы вы могли сосредоточиться на своем бизнесе.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 Обновлено 2026-10-19 📅 Создано 2021-07-07
28
apache/celeborn

Apache Celeborn — это эластичный высокопроизводительный сервис для данных перемешивания и выгрузки.

apache
⭐ 1,081 Java 👤 apache Organization 🕐 Обновлено 2026-11-20 📅 Создано 2021-12-10
29
zeromicro/cds

Синхронизация данных на golang для ClickHouse.

zeromicro
⭐ 982 Go 👤 zeromicro Organization 🕐 Обновлено 2025-06-07 📅 Создано 2020-11-25
30
apache/livy

Apache Livy — это открытый REST-интерфейс для взаимодействия с Apache Spark откуда угодно.

apache
⭐ 962 Scala 👤 apache Organization 🕐 Обновлено 2026-10-20 📅 Создано 2017-06-25
31
microsoft/Mobius

Привязки языков C# и F# и расширения для Apache Spark

microsoft
⭐ 948 C# 👤 microsoft Organization 🕐 Обновлено 2025-12-11 📅 Создано 2015-10-27
32
visualpython/visualpython

GUI-генератор кода Python для науки о данных, расширение для Jupyter Lab, Jupyter Notebook и Google Colab.

visualpython
⭐ 917 JavaScript 👤 visualpython User 🕐 Обновлено 2024-07-03 📅 Создано 2021-05-02
33
pingcap/tispark

TiSpark предназначен для запуска Apache Spark поверх TiDB/TiKV.

pingcap
⭐ 889 Scala 👤 pingcap Organization 🕐 Обновлено 2026-08-20 📅 Создано 2017-05-02
34
intsmaze/flink-boot

Scaffold Lazy Squirrel Flink-Boot позволяет Flink полностью использовать экосистему Spring, позволяя разработчикам разрабатывать распределенно работающие программы потоковой обработки в режиме разработки Java WEB. Lazy Squirrel упрощает переход. Lazy Squirrel стремится позволить разработчикам быстро писать и реализовывать бизнес-код с более низкими первоначальными затратами (без необходимости понимать теорию распределенных вычислений и детали фреймворка Flink). Чтобы еще больше повысить гибкость разработчиков при использовании scaffold Lazy Squirrel для разработки крупных проектов, scaffold по умолчанию интегрирует фреймворк Spring для управления Bean, а также интегрирует фреймворки, часто используемые в областях микросервисов и веб-разработки, для дальнейшего повышения скорости разработки. Например, интеграция ORM-фреймворка Mybatis, фреймворка валидации Hibernate Validator, фреймворка повторных попыток Spring Retry и т. д. Подробности см. в разделе "Характеристики scaffold" ниже.

intsmaze
⭐ 827 Java 👤 intsmaze User 🕐 Обновлено 2024-04-27 📅 Создано 2020-11-10
35
NationalSecurityAgency/datawave

DataWave — это фреймворк для загрузки и запросов, который использует Apache Accumulo для обеспечения быстрого и безопасного доступа к данным.

NationalSecurityAgency
⭐ 779 Java 👤 NationalSecurityAgency Organization 🕐 Обновлено 2026-11-20 📅 Создано 2018-01-10
36
gearpump/gearpump

Легковесный движок потоковой обработки больших данных в реальном времени на базе Apache Pekko

gearpump
⭐ 757 Scala 👤 gearpump Organization 🕐 Обновлено 2026-11-09 📅 Создано 2014-07-23
37
MrXujiang/v6.dooring.public

Решение для визуализации больших экранов, предоставляющее движок визуального редактирования, который помогает частным лицам или компаниям легко создавать собственные приложения для больших экранов.

MrXujiang
⭐ 715 TypeScript 👤 MrXujiang User 🕐 Обновлено 2025-07-06 📅 Создано 2021-03-08
38
WeBankFinTech/WeDataSphere

WeDataSphere — это финансовый уровень, одноступенчатая платформа для больших данных в полном комплекте.

WeBankFinTech
⭐ 676 👤 WeBankFinTech Organization 🕐 Обновлено 2024-03-14 📅 Создано 2019-07-23
39
bigartm/bigartm

Быстрая платформа для тематического моделирования

bigartm
⭐ 673 C++ 👤 bigartm Organization 🕐 Обновлено 2026-02-05 📅 Создано 2014-09-15
40
AbsaOSS/spline

Решение для отслеживания и визуализации происхождения данных

AbsaOSS
⭐ 669 Scala 👤 AbsaOSS Organization 🕐 Обновлено 2026-11-04 📅 Создано 2017-05-30
41
unum-cloud/UStore

Встраиваемая транзакционная база данных для блобов, документов и графов: NVMe с обходом ядра через io_uring и SPDK, компактизация на GPU и единый C ABI для собственного движка, RocksDB и LevelDB 🗄️

unum-cloud
⭐ 649 C++ 👤 unum-cloud Organization 🕐 Обновлено 2026-11-18 📅 Создано 2022-06-12
42
gangly/datafaker

Datafaker — это инструмент для генерации тестовых данных в большом масштабе и потоковых тестовых данных. Datafaker генерирует фальшивые данные и вставляет их в различные источники данных. Инструмент генерации тестовых данных

gangly
⭐ 643 Python 👤 gangly User 🕐 Обновлено 2026-04-04 📅 Создано 2019-03-26
43
marmotdata/marmot

Открытый центр знаний для вашей компании. Marmot понимает смысл ваших данных, управляет доступом к ним и выполняет каждый запрос сотрудников и агентов, предварительно проверяя и регистрируя его. Каталог, происхождение данных, SQL с управлением доступом и MCP-сервер в одном бинарном файле Go.

marmotdata
⭐ 639 Go 👤 marmotdata Organization 🕐 Обновлено 2026-11-20 📅 Создано 2025-03-12
44
minio/sidekick

Высокопроизводительный балансировщик нагрузки HTTP Sidecar

minio
⭐ 585 Go 👤 minio Organization 🕐 Обновлено 2025-07-14 📅 Создано 2020-03-05
45
achtungsoftware/alarik

Высокопроизводительное распределённое объектное хранилище, совместимое с S3, ориентированное на скорость и разработанное как открытая альтернатива MinIO и RustFS.

achtungsoftware
⭐ 584 Swift 👤 achtungsoftware Organization 🕐 Обновлено 2026-09-19 📅 Создано 2025-12-06
46
ganweisoft/TOMs

TOMs — это полностью открытая, высокопроизводительная, систематическая, ориентированная на плагины и сценарийская универсальная платформа разработки.

ganweisoft
⭐ 581 CSS 👤 ganweisoft Organization 🕐 Обновлено 2025-12-04 📅 Создано 2025-06-11
47
mvillarrealb/docker-spark-cluster

Простой автономный кластер Spark для целей вашей тестовой среды

mvillarrealb
⭐ 570 Dockerfile 👤 mvillarrealb User 🕐 Обновлено 2024-03-06 📅 Создано 2018-09-23
48
leesf/hudi-resources

Сводка материалов, связанных с Apache Hudi

leesf
⭐ 554 👤 leesf User 🕐 Обновлено 2026-03-31 📅 Создано 2019-12-11
49
zhaoyachao/zdh_web

Сбор больших данных, платформа извлечения, zdh_web - это визуальная платформа управления для сервисов серии zdh, содержащая модули, такие как сбор данных, планирование, разрешения, поток одобрения, маркетинг в частном домене и т.д.

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 Обновлено 2026-06-07 📅 Создано 2020-02-03
50
nicgirault/circosJS

библиотека d3 для построения круговых диаграмм

nicgirault
⭐ 534 JavaScript 👤 nicgirault User 🕐 Обновлено 2026-01-23 📅 Создано 2014-11-28

Часто задаваемые вопросы

1

Какой репозиторий по теме #bigdata наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #bigdata на GitHub — DataExpert-io/data-engineer-handbook, набравший 45,237 звёзд. Это репозиторий со ссылками на все, что вы когда-либо хотели узнать о разработке данных

2

Какие языки программирования чаще всего используются в репозиториях по теме #bigdata?

Среди наиболее высоко оценённых проектов по теме #bigdata на GitHub чаще всего используются языки программирования Java, Go, Python, Scala.

3

Как рассчитывается рейтинг репозиториев по теме #bigdata?

Мы отслеживаем 51 активных репозиториев с открытым исходным кодом, отмеченных тегом #bigdata (500 и более звёзд), с общим числом 261,861 звёзд и в среднем 5,134 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.