#spark Repositorios
Descubre 126 repositorios activos de código abierto de GitHub etiquetados con #spark, que acumulan 513,269 estrellas en total (una media de 4,073 estrellas por proyecto). El líder de este tema es DataTalksClub/data-engineering-zoomcamp, con 46,997 estrellas.
126 repositorios en total
Data Engineering Zoomcamp es un curso gratuito de 9 semanas sobre la creación de canalizaciones de datos listas para producción. Únete al curso aquí 👇🏼
Apache Spark – Un motor de análisis unificado para el procesamiento de datos a gran escala
Haga que su empresa esté impulsada por datos. Conéctese a cualquier fuente de datos, visualice, cree paneles y comparta sus datos fácilmente.
Notebooks de Python para ciencia de datos: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, fundamentos de Python, AWS y varias líneas de comandos.
¡Tecnología de contenedores Docker más reciente, aprende las mejores prácticas a partir de casos reales! | Aprende y comprende las tecnologías Docker y Contenedor, con práctica real de DevOps.
GUI para la API de ChatGPT y muchos LLM. Soporta agentes, QA basado en archivos, ajuste fino de GPT y consulta con búsqueda web. Todo con una interfaz de usuario ordenada.
Blog de aprendizaje de Flink. http://www.54tianzhisheng.cn/ Contiene contenido sobre introducción a Flink, conceptos, principios, práctica, optimización de rendimiento, análisis de código fuente, etc. Involucra casos de aprendizaje sobre Flink Connector, Metrics, Library, DataStream API, Table API & SQL, etc., y el compartir casos de proyectos grandes de aplicaciones de Flink en producción (PVUV, almacenamiento de logs, desduplicación en tiempo real de miles de millones de datos, alertas de monitoreo). Bienvenidos todos a apoyar mi columna «Motor de Computación en Tiempo Real de Big Data Flink: Práctica y Optimización de Rendimiento».
【Columna de Entrevistas en Grandes Empresas】 ¡Una guía técnica para programadores Java! Incluye preguntas de entrevista, arquitectura de sistemas, consejos laborales, middleware principal, etc., para que te conviertas en un mejor profesional.
Marco de entrenamiento distribuido para TensorFlow, Keras, PyTorch y Apache MXNet.
Suite de herramientas para desplegar y entrenar modelos de aprendizaje profundo utilizando la JVM. Los aspectos más destacados incluyen la importación de modelos para Keras, TensorFlow y ONNX/PyTorch, una biblioteca C++ modular y diminuta para ejecutar código matemático y una biblioteca matemática Java sobre la biblioteca C++ principal. También incluye SameDiff: una biblioteca similar a PyTorch/TensorFlow para ejecutar aprendizaje profundo...
Un marco de almacenamiento de código abierto que permite construir una arquitectura Lakehouse con motores de cómputo que incluyen Spark, PrestoDB, Flink, Trino y Hive, y APIs
🧙 Cree, ejecute y administre pipelines de datos para integrar y transformar datos.
H2O es una Plataforma de Machine Learning de Código Abierto, Distribuida, Rápida y Escalable: Deep Learning, Gradient Boosting (GBM) y XGBoost, Random Forest, Generalized Linear Modeling (GLM con Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.
Alluxio, orquestación de datos para analítica y aprendizaje automático en la nube
Un servidor de parámetros flexible y potente para aprendizaje automático a gran escala
Cuaderno basado en web que permite análisis de datos interactivos impulsados por datos y documentos colaborativos con SQL, Scala y más.
Biblioteca de Python de aprendizaje automático simple y distribuido que transfiere algoritmos de ML a Spark
cube studio Plataforma de IA todo en uno nativa de la nube, de código abierto, para aprendizaje automático/aprendizaje profundo/modelos grandes, flujo completo de enlaces de algoritmos MLOps, plataforma de alquiler de potencia de cómputo, desarrollo en línea de Notebook, orquestación de pipeline de flujo de tareas de arrastrar y soltar, entrenamiento distribuido multi-máquina multi-GPU, búsqueda de hiperparámetros, virtualización VGPU de servicio de inferencia, computación en el borde, anotación automatizada de la plataforma de anotación, ajuste fino SFT de modelos grandes/Modelo de recompensa/Entrenamiento de aprendizaje por refuerzo de Deepseek, inferencia multi-máquina de modelos grandes como vLLM/Ollama/MindSpore, base de conocimientos privada, mercado de modelos de IA, soporte para el ecosistema Ascend de CPU/GPU/NPU domésticos, soporte RDMA, soporte para frameworks distribuidos como PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Un bitset comprimido mejorado en Java: utilizado por Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw y muchos otros
Deequ es una biblioteca construida sobre Apache Spark para definir "pruebas unitarias para datos", que miden la calidad de los datos en conjuntos de datos grandes.
Sustituto drop-in de Apache Spark escrito en Rust, que unifica el procesamiento por lotes, el procesamiento en streaming y las cargas de trabajo de IA intensivas en cómputo.
🔨 Genere instrucciones SQL estructuradas con JSON, basado en Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, el proyecto es simple (lógica fuerte, páginas ligeras), adecuado para practicar~
Apache Paimon es un formato de lago que permite construir una Arquitectura de Data Lake en Tiempo Real con Flink y Spark tanto para operaciones de streaming como batch.
Apache Linkis construye una capa de middleware de cómputo para facilitar la conexión, gobernanza y orquestación entre las aplicaciones superiores y los motores de datos subyacentes.
DataSphereStudio es un portal todo en uno para el desarrollo y gestión de aplicaciones de datos, que cubre escenarios como intercambio de datos, desensibilización/limpieza, análisis/minería, medición de calidad, visualización y programación de tareas.
Un motor lakehouse abierto para agentes: nativo de Postgres, de vectores y de Python. Habla PostgreSQL, funciona sobre tu almacenamiento de objetos y está escrito en Rust.
Aprendizaje de Big Data, Aprender Big Data desde cero, Incluye videos de aprendizaje y materiales de entrevista para cada etapa del aprendizaje de Big Data
Operador de Kubernetes para gestionar el ciclo de vida de aplicaciones de Apache Spark en Kubernetes.
Proyecto histórico de aprendizaje: recomendaciones de películas con Spark, web scraping, aplicación web y backend. El desarrollo continuo de la nueva versión está en cinematch-recommender.
:herb: Ejemplos de aprendizaje rápido basados en Spring Boot, integrando frameworks de código abierto que he encontrado, como: RabbitMQ (cola de retraso), Kafka, JPA, Redis, OAuth2, Swagger, JSP, Docker, K3s, K3d, K8s, plugin de encriptación/desencriptación de MyBatis, manejo de excepciones, salida de logs, desarrollo multi-módulo, empaquetado multi-entorno, caché, rastreador web, JWT, GraphQL, Dubbo, Zookeeper y Async, etc. :pushpin:
Enlace de datos probabilístico rápido, preciso y escalable con soporte para múltiples backends SQL
Sistema de análisis de flujo de pasajeros Big Data del metro de Shenzhen🚇🚄🌟
✨Spark es una Herramienta de Administración Remota (RAT) basada en web, multiplataforma y con todas las funciones, escrita en Go, que te permite controlar todos tus dispositivos en cualquier lugar. Spark es una herramienta de control y monitoreo remoto escrita en Go, basada en web, multiplataforma y con todas las funciones, que te permite monitorear y controlar todos los dispositivos en cualquier momento y lugar.
Apache Kyuubi es un gateway distribuido y multi-tenant para proporcionar SQL sin servidor en almacenes de datos y lakehouses.
YTsaurus es una plataforma de big data de código abierto escalable y tolerante a fallos.
Herramientas para manejar firmwares de productos DJI, con enfoque en cuadricópteros.
TransmogrifAI (pronunciado trăns-mŏgˈrə-fī) es una biblioteca de AutoML para construir flujos de trabajo de aprendizaje automático modulares, reutilizables y fuertemente tipados en Apache Spark con una mínima intervención manual.
Una interfaz unificada para la computación distribuida. Fugue ejecuta código SQL, Python, Pandas y Polars en Spark, Dask y Ray sin reescrituras.
.NET for Apache® Spark™ hace que Apache Spark™ sea fácilmente accesible para los desarrolladores de .NET.
Preguntas frecuentes
¿Cuál es el repositorio de #spark más popular en GitHub?
El proyecto de código abierto de #spark mejor posicionado en GitHub es DataTalksClub/data-engineering-zoomcamp, con 46,997 estrellas. Data Engineering Zoomcamp es un curso gratuito de 9 semanas sobre la creación de canalizaciones de datos listas para producción. Únete al curso aquí 👇🏼
¿Qué lenguajes de programación se utilizan más en los repositorios de #spark?
Entre los proyectos de #spark mejor posicionados en GitHub, los lenguajes de programación más comunes son Java, Scala, Python, Jupyter Notebook.
¿Cómo se calcula la clasificación de los repositorios de #spark?
Seguimos 126 repositorios activos de código abierto etiquetados con #spark (500+ estrellas), que suman un total de 513,269 estrellas, con una media de 4,073 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.