#big-data Репозитории
Откройте для себя 133 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #big-data, с общим числом 683,600 звёзд (в среднем 5,139 на проект). Лидером этой темы является binhnguyennus/awesome-scalability, набравший 75,924 звёзд.
Всего репозиториев: 133
Паттерны масштабируемых, надежных и высокопроизводительных крупномасштабных систем
ClickHouse® — это система управления базами данных для аналитики в реальном времени
Python-ноутбуки по науке о данных: глубокое обучение (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, большие данные (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, основы Python, AWS и различные командные строки.
Универсальная IoT-платформа — управление устройствами, сбор, обработка и визуализация данных.
Протокол кибербезопасности с открытым исходным кодом для синхронизации децентрализованных графовых данных.
Официальный репозиторий Trino, распределённого SQL-движка запросов для больших данных, ранее известного как PrestoSQL (https://trino.io)
Распределённая, быстрая открытая графовая база данных с горизонтальной масштабируемостью и высокой доступностью
Самый быстрый в мире открытый движок запросов для аналитики менее чем за секунду как внутри, так и вне data lakehouse. Благодаря гибкости в поддержке практически любого сценария, StarRocks обеспечивает лучшую в своем классе производительность для многомерного анализа, анализа в реальном времени и ad-hoc запросов. Проект Linux Foundation.
Быстрая, масштабируемая, высокопроизводительная библиотека Gradient Boosting на деревьях решений, используемая для ранжирования, классификации, регрессии и других задач машинного обучения для Python, R, Java, C++. Поддерживает вычисления на CPU и GPU.
Фреймворк хранения с открытым исходным кодом, который позволяет строить архитектуру Lakehouse с использованием вычислительных движков, включая Spark, PrestoDB, Flink, Trino и Hive, а также API
Apache Beam — это унифицированная модель программирования для обработки пакетных и потоковых данных.
Arkime — это система с открытым исходным кодом, большого масштаба, для полного захвата пакетов, индексации и базы данных.
H2O — это Open Source, распределенная, быстрая и масштабируемая платформа машинного обучения: Deep Learning, Gradient Boosting (GBM) и XGBoost, Random Forest, Generalized Linear Modeling (GLM с Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML) и т. д.
Бесшовная база данных с многоузловой синхронизацией и интуитивным API HTTP/JSON, разработанная для надежности
Веб-ноутбук, который позволяет проводить data-driven интерактивный анализ данных и создавать совместные документы с использованием SQL, Scala и других инструментов.
Hazelcast — это унифицированная платформа реального времени для данных, сочетающая обработку потоков с быстрым хранилищем данных, позволяющая клиентам мгновенно реагировать на данные в движении для получения инсайтов в реальном времени.
Простой, быстрый и эффективный распределённый поисковый движок для текста и векторов с открытым исходным кодом на Go
Высокопроизводительный движок данных для рабочих нагрузок ИИ и мультимодальных систем. Обрабатывайте изображения, аудио, видео и структурированные данные в любом масштабе.
Простая и распределенная библиотека машинного обучения на Python для переноса алгоритмов ML в Spark
Stream Framework — это библиотека Python, которая позволяет создавать ленты новостей, потоки активности и системы уведомлений, используя Cassandra и/или Redis. Авторы Stream-Framework также предоставляют облачный сервис для технологии фидов:
⚡️ Компонент Vue, поддерживающий списки больших объемов данных с высокой производительностью рендеринга и эффективностью.
Легко превратите большие наборы URL-адресов изображений в набор данных изображений. Можно загрузить, изменить размер и упаковать 100 миллионов URL за 20 часов на одной машине.
CrateDB — это распределённая и масштабируемая база данных SQL для хранения и анализа огромных объёмов данных почти в реальном времени, даже с сложными запросами. Она совместима с PostgreSQL и основана на Lucene.
🔨 🍇 💻 🚀 GraphScope: Комплексная система крупномасштабных вычислений графов от Alibaba | Комплексная система вычислений графов
Полностью совместимая замена Apache Spark, написанная на Rust, объединяющая пакетную обработку, потоковую обработку и вычислительно интенсивные AI-нагрузки.
Apache Paimon — это формат озера данных, который позволяет создавать архитектуру Realtime Lakehouse с помощью Flink и Spark как для потоковых, так и для пакетных операций.
Графовая база данных, поддерживающая более 100+ миллиардов данных, высокую производительность и масштабируемость (Включает OLTP-движок & REST-API & Бэкенды)
Простая в использовании платформа самостоятельного обслуживания с открытыми BI-отчетами и BI-панелями.
Часто задаваемые вопросы
Какой репозиторий по теме #big-data наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #big-data на GitHub — binhnguyennus/awesome-scalability, набравший 75,924 звёзд. Паттерны масштабируемых, надежных и высокопроизводительных крупномасштабных систем
Какие языки программирования чаще всего используются в репозиториях по теме #big-data?
Среди наиболее высоко оценённых проектов по теме #big-data на GitHub чаще всего используются языки программирования Java, Python, Rust, C++.
Как рассчитывается рейтинг репозиториев по теме #big-data?
Мы отслеживаем 133 активных репозиториев с открытым исходным кодом, отмеченных тегом #big-data (500 и более звёзд), с общим числом 683,600 звёзд и в среднем 5,139 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.