#bigdata Репозитории
Откройте для себя 51 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #bigdata, с общим числом 261,861 звёзд (в среднем 5,134 на проект). Лидером этой темы является DataExpert-io/data-engineer-handbook, набравший 45,237 звёзд.
Всего репозиториев: 51
Это репозиторий со ссылками на все, что вы когда-либо хотели узнать о разработке данных
RustFS — это высокопроизводительная объектная система хранения с открытым исходным кодом и совместимостью с S3, поддерживающая миграцию и совместную работу с другими S3-совместимыми платформами, такими как MinIO и Ceph.
Высокопроизводительная, масштабируемая база данных временных рядов, разработанная для сценариев промышленного Интернета вещей (IIoT)
Расширение возможностей интеллекта данных с помощью распределенного SQL для шардинга, масштабируемости и безопасности во всех базах данных.
JuiceFS — это распределенная файловая система POSIX, построенная на основе Redis и S3.
Курируемый список потрясающих фреймворков для больших данных, ресурсов и других замечательных вещей.
Data Agent Ready Warehouse: Один для Analytics, Поиска, ИИ, Python Sandbox. — полностью перестроен с нуля. Единая архитектура на вашем S3.
Внеядерный гибридный DataFrame Apache Arrow/NumPy для Python, ML, визуализации и исследования больших табличных данных со скоростью миллиард строк в секунду 🚀
100+ наборов крутых шаблонов HTML5 для больших экранов визуализации больших данных; Включенные отрасли: сообщество, управление недвижимостью, государственные дела, транспорт, финансовые банки и т. д., новейшие, самые многочисленные, самые полные, самые крутые и самые впечатляющие шаблоны визуализации больших данных во всей сети. Постепенное обновление.
🔨 Генерируйте структурированные SQL-запросы с помощью JSON, реализованные на Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, проект простой (сильная логика, легкие страницы), подходит для тренировки~
Обучение большим данным, Изучение больших данных с нуля, Включает видеоуроки и материалы для собеседований на каждом этапе обучения большим данным
GridDB — это база данных открытого исходного кода следующего поколения, которая делает временные ряды IoT и большие данные быстрыми и простыми.
Aix-DB, основанный на фреймворке LangChain/LangGraph и объединенный с архитектурой многоагентного сотрудничества MCP Skills, обеспечивает конверсию от естественного языка к аналитике данных на уровне конца в конец.
На основе открытого Flink, расширяет его SQL в реальном времени; в основном реализует join между потоками и таблицами измерений, поддерживает весь синтаксис нативного Flink SQL
Byzer (ранее MLSQL): Низкоуровневый язык программирования с открытым исходным кодом для конвейеров данных, аналитики и ИИ.
Репозиторий знаний больших данных включает моделирование хранилищ данных, обработку данных в реальном времени, большие данные, централизованную платформу данных, проектирование систем, Java, алгоритмы и т. д.
Учебные пособия по Apache Spark & Python (pySpark) для анализа больших данных и машинного обучения в виде IPython / Jupyter блокнотов
:truck: Гибкие рабочие процессы подготовки данных, упрощенные с помощью Pandas, Dask, cuDF, Dask-cuDF, Vaex и PySpark
Первая платформа с открытым исходным кодом для обнаружения и наблюдаемости данных. Мы облегчаем жизнь специалистам по данным, чтобы вы могли сосредоточиться на своем бизнесе.
Apache Celeborn — это эластичный высокопроизводительный сервис для данных перемешивания и выгрузки.
Apache Livy — это открытый REST-интерфейс для взаимодействия с Apache Spark откуда угодно.
GUI-генератор кода Python для науки о данных, расширение для Jupyter Lab, Jupyter Notebook и Google Colab.
Scaffold Lazy Squirrel Flink-Boot позволяет Flink полностью использовать экосистему Spring, позволяя разработчикам разрабатывать распределенно работающие программы потоковой обработки в режиме разработки Java WEB. Lazy Squirrel упрощает переход. Lazy Squirrel стремится позволить разработчикам быстро писать и реализовывать бизнес-код с более низкими первоначальными затратами (без необходимости понимать теорию распределенных вычислений и детали фреймворка Flink). Чтобы еще больше повысить гибкость разработчиков при использовании scaffold Lazy Squirrel для разработки крупных проектов, scaffold по умолчанию интегрирует фреймворк Spring для управления Bean, а также интегрирует фреймворки, часто используемые в областях микросервисов и веб-разработки, для дальнейшего повышения скорости разработки. Например, интеграция ORM-фреймворка Mybatis, фреймворка валидации Hibernate Validator, фреймворка повторных попыток Spring Retry и т. д. Подробности см. в разделе "Характеристики scaffold" ниже.
DataWave — это фреймворк для загрузки и запросов, который использует Apache Accumulo для обеспечения быстрого и безопасного доступа к данным.
Легковесный движок потоковой обработки больших данных в реальном времени на базе Apache Pekko
Решение для визуализации больших экранов, предоставляющее движок визуального редактирования, который помогает частным лицам или компаниям легко создавать собственные приложения для больших экранов.
WeDataSphere — это финансовый уровень, одноступенчатая платформа для больших данных в полном комплекте.
Встраиваемая транзакционная база данных для блобов, документов и графов: NVMe с обходом ядра через io_uring и SPDK, компактизация на GPU и единый C ABI для собственного движка, RocksDB и LevelDB 🗄️
Datafaker — это инструмент для генерации тестовых данных в большом масштабе и потоковых тестовых данных. Datafaker генерирует фальшивые данные и вставляет их в различные источники данных. Инструмент генерации тестовых данных
Открытый центр знаний для вашей компании. Marmot понимает смысл ваших данных, управляет доступом к ним и выполняет каждый запрос сотрудников и агентов, предварительно проверяя и регистрируя его. Каталог, происхождение данных, SQL с управлением доступом и MCP-сервер в одном бинарном файле Go.
Высокопроизводительное распределённое объектное хранилище, совместимое с S3, ориентированное на скорость и разработанное как открытая альтернатива MinIO и RustFS.
TOMs — это полностью открытая, высокопроизводительная, систематическая, ориентированная на плагины и сценарийская универсальная платформа разработки.
Простой автономный кластер Spark для целей вашей тестовой среды
Сбор больших данных, платформа извлечения, zdh_web - это визуальная платформа управления для сервисов серии zdh, содержащая модули, такие как сбор данных, планирование, разрешения, поток одобрения, маркетинг в частном домене и т.д.
Часто задаваемые вопросы
Какой репозиторий по теме #bigdata наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #bigdata на GitHub — DataExpert-io/data-engineer-handbook, набравший 45,237 звёзд. Это репозиторий со ссылками на все, что вы когда-либо хотели узнать о разработке данных
Какие языки программирования чаще всего используются в репозиториях по теме #bigdata?
Среди наиболее высоко оценённых проектов по теме #bigdata на GitHub чаще всего используются языки программирования Java, Go, Python, Scala.
Как рассчитывается рейтинг репозиториев по теме #bigdata?
Мы отслеживаем 51 активных репозиториев с открытым исходным кодом, отмеченных тегом #bigdata (500 и более звёзд), с общим числом 261,861 звёзд и в среднем 5,134 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.