#bigdata Repositorios
Descubre 51 repositorios activos de código abierto de GitHub etiquetados con #bigdata, que acumulan 261,861 estrellas en total (una media de 5,134 estrellas por proyecto). El líder de este tema es DataExpert-io/data-engineer-handbook, con 45,237 estrellas.
51 repositorios en total
Este es un repositorio con enlaces a todo lo que jamás querrías aprender sobre ingeniería de datos
RustFS es un sistema de almacenamiento de objetos de alto rendimiento, de código abierto y compatible con S3, que admite la migración y la coexistencia con otras plataformas compatibles con S3, como MinIO y Ceph.
Base de datos de series temporales de alto rendimiento y escalable, diseñada para escenarios de IoT industrial (IIoT)
Empoderando la Inteligencia de Datos con SQL Distribuido para Sharding, Escalabilidad y Seguridad en Todas las Bases de Datos.
JuiceFS es un sistema de archivos POSIX distribuido construido sobre Redis y S3.
Una lista curada de increíbles frameworks de big data, recursos y otras maravillas.
Data Agent Ready Warehouse: Uno para Analytics, Búsqueda, IA, Python Sandbox. — reconstruido desde cero. Arquitectura unificada en tu S3.
DataFrame híbrido Apache Arrow/NumPy fuera de memoria para Python, ML, visualización y exploración de grandes datos tabulares a mil millones de filas por segundo 🚀
Más de 100 conjuntos de plantillas HTML5 para pantallas grandes y geniales de visualización de Big Data; Industrias incluidas: comunidad, gestión de propiedades, gobierno, transporte, banca financiera, etc. Las plantillas de visualización de Big Data más nuevas, numerosas, completas, geniales y llamativas de toda la red. Actualizando progresivamente.
🔨 Genere instrucciones SQL estructuradas con JSON, basado en Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, el proyecto es simple (lógica fuerte, páginas ligeras), adecuado para practicar~
Aprendizaje de Big Data, Aprender Big Data desde cero, Incluye videos de aprendizaje y materiales de entrevista para cada etapa del aprendizaje de Big Data
GridDB es una base de datos de código abierto de próxima generación que hace que las series temporales IoT y los big data sean rápidos y fáciles.
Aix-DB, basado en el framework LangChain/LangGraph y en la arquitectura de colaboración multi‑agente MCP Skills, logra una conversión de extremo a extremo de lenguaje natural a insights de datos.
.NET for Apache® Spark™ hace que Apache Spark™ sea fácilmente accesible para los desarrolladores de .NET.
Basado en Flink de código abierto, extiende su SQL en tiempo real; implementa principalmente el join entre flujos y tablas de dimensiones, soporta toda la sintaxis de Flink SQL nativo
Byzer (anteriormente MLSQL): Un lenguaje de programación de código bajo de código abierto para canalizaciones de datos, análisis e IA.
El repositorio de conocimiento de Big Data involucra modelado de data warehouse, computación en tiempo real, Big Data, plataforma de datos centralizada, diseño de sistemas, Java, algoritmos, etc.
Tutoriales de Apache Spark & Python (pySpark) para el Análisis de Big Data y Machine Learning como cuadernos IPython / Jupyter
:truck: Flujos de trabajo de preparación de datos ágiles hechos fáciles con Pandas, Dask, cuDF, Dask-cuDF, Vaex y PySpark
La primera plataforma de código abierto para el descubrimiento y la observabilidad de datos. Facilitamos la vida de los profesionales de datos para que puedas concentrarte en tu negocio.
Apache Celeborn es un servicio elástico y de alto rendimiento para datos de shuffle y derramados.
Apache Livy es una interfaz REST de código abierto para interactuar con Apache Spark desde cualquier lugar.
Generador de código Python basado en GUI para ciencia de datos, extensión para Jupyter Lab, Jupyter Notebook y Google Colab.
El scaffold Flink-Boot de Lazy Squirrel permite que Flink abrace completamente el ecosistema Spring, lo que permite a los desarrolladores desarrollar programas de procesamiento de flujos distribuidos con el modo de desarrollo Java WEB. Lazy Squirrel hace que la transición sea más sencilla. Lazy Squirrel tiene como objetivo permitir a los desarrolladores escribir e implementar rápidamente código de negocio con menores costos de entrada (sin necesidad de comprender la teoría del cálculo distribuido y los detalles del framework Flink). Para mejorar aún más la agilidad en el desarrollo de proyectos a gran escala utilizando el scaffold Lazy Squirrel, el scaffold integra de forma predeterminada el framework Spring para la gestión de Bean, al tiempo que integra frameworks de uso frecuente en los campos de microservicios y desarrollo WEB, para aumentar aún más la velocidad de desarrollo. Por ejemplo, la integración del framework ORM Mybatis, el framework de validación Hibernate Validator, el framework de reintentos Spring Retry, etc. Ver las características del scaffold a continuación para más detalles.
DataWave es un framework de ingesta/consulta que aprovecha Apache Accumulo para proporcionar acceso rápido y seguro a los datos.
Solución de pantalla de visualización, que proporciona un motor de edición visual para ayudar a individuos o empresas a personalizar fácilmente sus propias aplicaciones de pantalla de visualización.
WeDataSphere es una suite de plataformas de big data de grado financiero, todo en uno.
Base de datos transaccional integrada para blobs, documentos y grafos, con NVMe sin pasar por el kernel mediante io_uring y SPDK, compactación en GPU y una única ABI de C para sus propios motores, RocksDB y LevelDB 🗄️
Datafaker es una herramienta de generación de datos de prueba a gran escala y datos de prueba de flujo. Datafaker falsifica datos e inserta en diversas fuentes de datos. Herramienta de generación de datos de prueba
El centro de conocimiento de código abierto para tu empresa. Marmot sabe qué significan tus datos, controla quién puede usarlos y ejecuta todas las consultas de tu equipo y tus agentes, verificadas y registradas. Catálogo, linaje, SQL gobernado y un servidor MCP en un único binario de Go.
Almacenamiento de objetos distribuido de alto rendimiento compatible con S3, centrado en la velocidad y diseñado como una alternativa abierta a MinIO y RustFS.
TOMs es un framework de desarrollo de propósito general completamente de código abierto, de alto rendimiento, sistemático, orientado a plugins e independiente del escenario.
Un clúster standalone simple de Spark para fines de tu entorno de pruebas
Recopilación de big data, plataforma de extracción, zdh_web es la plataforma de gestión visual para los servicios de la serie zdh, que incluye módulos como recopilación de datos, programación, permisos, flujo de aprobación, marketing de dominio privado, etc.
Preguntas frecuentes
¿Cuál es el repositorio de #bigdata más popular en GitHub?
El proyecto de código abierto de #bigdata mejor posicionado en GitHub es DataExpert-io/data-engineer-handbook, con 45,237 estrellas. Este es un repositorio con enlaces a todo lo que jamás querrías aprender sobre ingeniería de datos
¿Qué lenguajes de programación se utilizan más en los repositorios de #bigdata?
Entre los proyectos de #bigdata mejor posicionados en GitHub, los lenguajes de programación más comunes son Java, Go, Python, Scala.
¿Cómo se calcula la clasificación de los repositorios de #bigdata?
Seguimos 51 repositorios activos de código abierto etiquetados con #bigdata (500+ estrellas), que suman un total de 261,861 estrellas, con una media de 5,134 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.