#data-pipelines Repositorios
Descubre 50 repositorios activos de código abierto de GitHub etiquetados con #data-pipelines, que acumulan 323,108 estrellas en total (una media de 6,462 estrellas por proyecto). El líder de este tema es twitter/the-algorithm, con 73,884 estrellas.
50 repositorios en total
Framework ETL de Python para procesamiento de streams, análisis en tiempo real, pipelines de LLM y RAG.
Apache Airflow - Una plataforma para crear de manera programática, programar y monitorear flujos de trabajo
Una plataforma de orquestación para el desarrollo, producción y observación de activos de datos.
Convierta documentos en datos estructurados sin esfuerzo. Unstructured es una solución ETL de código abierto para transformar documentos complejos en formatos limpios y estructurados para modelos de lenguaje. Visite nuestro sitio web para obtener más información sobre nuestro producto Platform de nivel empresarial para flujos de trabajo de nivel de producción, partición, enriquecimiento, fragmentación y incrustación.
Apache DolphinScheduler es la plataforma moderna de orquestación de datos. Ágil para crear flujos de trabajo de alto rendimiento con low-code.
Kedro es una caja de herramientas para data science lista para producción. Utiliza las mejores prácticas de ingeniería de software para ayudarte a crear pipelines de ingeniería de datos y data science que sean reproducibles, mantenibles y modulares.
🧙 Cree, ejecute y administre pipelines de datos para integrar y transformar datos.
[SIGMOD'27] Preparación sencilla de datos con los operadores y pipelines más recientes basados en LLM.
🦀 Procesamiento de flujos de eventos para desarrolladores para recopilar y transformar datos en movimiento y potenciar aplicaciones intensivas en datos responsivas.
¡Consulta tu ranking en GitHub! No olvides dar una ⭐ a este repositorio.
Preswald es un empaquetador WASM para aplicaciones de datos interactivas basadas en Python: empaquete flujos de trabajo de datos complejos completos, en particular visualizaciones, en archivos únicos, ejecutables completamente en el navegador, utilizando Pyodide, DuckDB, Pandas y Plotly, Matplotlib, etc. Cree paneles, informes y cuadernos que se ejecuten sin conexión, carguen rápido y se compartan como un documento.
Meltano: el motor de integración de datos declarativo y centrado en el código que impulsa sus ideas más descabelladas de productos impulsados por datos e IA. Diga adiós a la escritura, el mantenimiento y la escalada de sus propias integraciones de API.
La solución de observabilidad de datos nativa de dbt para ingenieros de datos y análisis. Monitorea tus pipelines de datos en minutos. Disponible como servicio autohospedado o en la nube con funciones premium.
El mejor lugar para aprender ingeniería de datos. Construido y mantenido por la comunidad de ingeniería de datos.
Cree canalizaciones de datos con SQL y Python, ingiera datos de diferentes fuentes, agregue verificaciones de calidad y cree flujos de extremo a extremo.
Extracción de datos no estructurados, rápida y eficiente. Escrito en Rust con enlaces para muchos idiomas.
Una plataforma que facilita a los desarrolladores crear aplicaciones en tiempo real, rentables y enfocadas en operaciones
La primera plataforma de código abierto para el descubrimiento y la observabilidad de datos. Facilitamos la vida de los profesionales de datos para que puedas concentrarte en tu negocio.
Un repositorio de PyTorch para carga de datos y utilidades a ser compartidas por las bibliotecas de dominio de PyTorch.
Dataform es un framework para gestionar operaciones de datos basadas en SQL en BigQuery.
⚡ La forma más rápida de servir modelos de ML de código abierto a millones de personas
Plataforma de replicación de bases de datos que aprovecha la captura de datos de cambios. Transmite datos de producción de bases de datos a tu almacén de datos (Snowflake, BigQuery, Redshift, Databricks) en tiempo real.
Guías y documentación para ayudarte a ponerte en marcha con Apache Airflow.
Tuplex es un framework de procesamiento paralelo de big data que ejecuta pipelines de ciencia de datos escritas en Python a la velocidad del código compilado. Tuplex tiene API de Python similares a las de Apache Spark o Dask, pero en lugar de invocar el intérprete de Python, Tuplex genera bytecode LLVM optimizado para el pipeline y el conjunto de datos de entrada dados.
Optimus es un orquestador de flujos de trabajo fácil de usar, confiable y de alto rendimiento para la transformación de datos, modelado de datos, canalizaciones y gestión de calidad de datos.
Framework de Golang para ETL en streaming, tuberías de datos de observabilidad y aplicaciones de procesamiento de eventos
Este paquete dbt captura metadatos, artefactos y resultados de pruebas para que puedas detectar anomalías, monitorear la calidad de los datos y construir tablas de metadatos. Alimenta Elementary OSS y proporciona la capa de contexto más amplia utilizada por el completo Data & AI Control Plane de Elementary Cloud.
Apache Spark 3 - Programación con Spark en Python para principiantes
Preguntas frecuentes
¿Cuál es el repositorio de #data-pipelines más popular en GitHub?
El proyecto de código abierto de #data-pipelines mejor posicionado en GitHub es twitter/the-algorithm, con 73,884 estrellas. Código fuente del algoritmo de recomendación X
¿Qué lenguajes de programación se utilizan más en los repositorios de #data-pipelines?
Entre los proyectos de #data-pipelines mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Go, Java, Rust.
¿Cómo se calcula la clasificación de los repositorios de #data-pipelines?
Seguimos 50 repositorios activos de código abierto etiquetados con #data-pipelines (500+ estrellas), que suman un total de 323,108 estrellas, con una media de 6,462 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.