#big-data Repositorios
Descubre 133 repositorios activos de código abierto de GitHub etiquetados con #big-data, que acumulan 683,600 estrellas en total (una media de 5,139 estrellas por proyecto). El líder de este tema es binhnguyennus/awesome-scalability, con 75,924 estrellas.
133 repositorios en total
Los Patrones de Sistemas a Gran Escala Escalable, Confiable y de Alto Rendimiento
ClickHouse® es un sistema de gestión de bases de datos analíticas en tiempo real
Apache Spark – Un motor de análisis unificado para el procesamiento de datos a gran escala
Notebooks de Python para ciencia de datos: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, fundamentos de Python, AWS y varias líneas de comandos.
Plataforma IoT todo en uno: gestión de dispositivos, recopilación, procesamiento y visualización de datos.
Un protocolo de ciberseguridad de código abierto para sincronizar datos gráficos descentralizados.
Repositorio oficial de Trino, el motor de consulta SQL distribuido para big data, anteriormente conocido como PrestoSQL (https://trino.io)
Una base de datos de grafos distribuida, rápida y de código abierto con escalabilidad horizontal y alta disponibilidad
El motor de consulta abierto más rápido del mundo para análisis en menos de un segundo, tanto dentro como fuera del data lakehouse. Con la flexibilidad de admitir casi cualquier escenario, StarRocks ofrece un rendimiento de primer nivel para análisis multidimensionales, análisis en tiempo real y consultas ad hoc. Un proyecto de la Linux Foundation.
Una biblioteca de Gradient Boosting en Árboles de Decisión rápida, escalable y de alto rendimiento, utilizada para ranking, clasificación, regresión y otras tareas de aprendizaje automático para Python, R, Java, C++. Soporta cómputo en CPU y GPU.
Un marco de almacenamiento de código abierto que permite construir una arquitectura Lakehouse con motores de cómputo que incluyen Spark, PrestoDB, Flink, Trino y Hive, y APIs
Apache Beam es un modelo de programación unificado para el procesamiento de datos en lotes y en streaming.
Arkime es un sistema de código abierto, a gran escala, de captura completa de paquetes, indexación y base de datos.
H2O es una Plataforma de Machine Learning de Código Abierto, Distribuida, Rápida y Escalable: Deep Learning, Gradient Boosting (GBM) y XGBoost, Random Forest, Generalized Linear Modeling (GLM con Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.
Base de datos de sincronización multi-primaria sin interrupciones con una API HTTP/JSON intuitiva, diseñada para la fiabilidad
Cuaderno basado en web que permite análisis de datos interactivos impulsados por datos y documentos colaborativos con SQL, Scala y más.
Hazelcast es una plataforma unificada de datos en tiempo real que combina el procesamiento de flujos con un almacén de datos rápido, permitiendo a los clientes actuar instantáneamente sobre los datos en movimiento para obtener insights en tiempo real.
Motor de búsqueda de texto/vectores en Go, de código abierto, distribuido, sencillo y rápido y eficiente
Motor de datos de alto rendimiento para cargas de trabajo de IA y multimodales. Procese imágenes, audio, video y datos estructurados a cualquier escala.
Biblioteca de Python de aprendizaje automático simple y distribuido que transfiere algoritmos de ML a Spark
Stream Framework es una biblioteca de Python que le permite crear muros de noticias, flujos de actividad y sistemas de notificación utilizando Cassandra y/o Redis. Los autores de Stream-Framework también ofrecen un servicio en la nube para la tecnología de feeds:
⚡️ Un componente Vue que soporta listas de grandes cantidades de datos con alto rendimiento de renderizado y eficiencia.
Convierta fácilmente grandes conjuntos de URL de imágenes en un conjunto de datos de imágenes. Puede descargar, cambiar el tamaño y empaquetar 100 millones de URL en 20 horas en una sola máquina.
CrateDB es una base de datos SQL distribuida y escalable para almacenar y analizar grandes cantidades de datos en casi tiempo real, incluso con consultas complejas. Es compatible con PostgreSQL y está basada en Lucene.
🔨 🍇 💻 🚀 GraphScope: Un sistema integral de computación de grafos a gran escala de Alibaba | Sistema integral de computación de grafos
Sustituto drop-in de Apache Spark escrito en Rust, que unifica el procesamiento por lotes, el procesamiento en streaming y las cargas de trabajo de IA intensivas en cómputo.
Analizador léxico y analizador sintáctico SQL extensible para Rust
Apache Paimon es un formato de lago que permite construir una Arquitectura de Data Lake en Tiempo Real con Flink y Spark tanto para operaciones de streaming como batch.
Una base de datos de grafos que soporta más de 100 mil millones de datos, alto rendimiento y escalabilidad (Incluye Motor OLTP & REST-API & Backends)
Una plataforma de informes BI abiertos y paneles BI de autoservicio fácil de usar.
Preguntas frecuentes
¿Cuál es el repositorio de #big-data más popular en GitHub?
El proyecto de código abierto de #big-data mejor posicionado en GitHub es binhnguyennus/awesome-scalability, con 75,924 estrellas. Los Patrones de Sistemas a Gran Escala Escalable, Confiable y de Alto Rendimiento
¿Qué lenguajes de programación se utilizan más en los repositorios de #big-data?
Entre los proyectos de #big-data mejor posicionados en GitHub, los lenguajes de programación más comunes son Java, Python, Rust, C++.
¿Cómo se calcula la clasificación de los repositorios de #big-data?
Seguimos 133 repositorios activos de código abierto etiquetados con #big-data (500+ estrellas), que suman un total de 683,600 estrellas, con una media de 5,139 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.