Git Stars Git Stars

#data-pipelines Repositorios

Descubre 50 repositorios activos de código abierto de GitHub etiquetados con #data-pipelines, que acumulan 323,108 estrellas en total (una media de 6,462 estrellas por proyecto). El líder de este tema es twitter/the-algorithm, con 73,884 estrellas.

50
Total de Repositorios
323,108
Total de estrellas
6,462
Promedio de Estrellas/Repo

50 repositorios en total

1
twitter/the-algorithm

Código fuente del algoritmo de recomendación X

twitter
⭐ 73,884 Scala 👤 twitter Organization 🕐 Actualizado 2025-09-08 📅 Creado 2023-03-27
2
pathwaycom/pathway

Framework ETL de Python para procesamiento de streams, análisis en tiempo real, pipelines de LLM y RAG.

pathwaycom
⭐ 61,976 Python 👤 pathwaycom Organization 🕐 Actualizado 2026-11-21 📅 Creado 2022-11-27
3
apache/airflow

Apache Airflow - Una plataforma para crear de manera programática, programar y monitorear flujos de trabajo

apache
⭐ 47,583 Python 👤 apache Organization 🕐 Actualizado 2026-11-21 📅 Creado 2015-04-13
4
dagster-io/dagster

Una plataforma de orquestación para el desarrollo, producción y observación de activos de datos.

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 Actualizado 2026-11-20 📅 Creado 2018-04-30
5
Unstructured-IO/unstructured

Convierta documentos en datos estructurados sin esfuerzo. Unstructured es una solución ETL de código abierto para transformar documentos complejos en formatos limpios y estructurados para modelos de lenguaje. Visite nuestro sitio web para obtener más información sobre nuestro producto Platform de nivel empresarial para flujos de trabajo de nivel de producción, partición, enriquecimiento, fragmentación y incrustación.

Unstructured-IO
⭐ 15,769 HTML 👤 Unstructured-IO Organization 🕐 Actualizado 2026-11-19 📅 Creado 2022-09-26
6
apache/dolphinscheduler

Apache DolphinScheduler es la plataforma moderna de orquestación de datos. Ágil para crear flujos de trabajo de alto rendimiento con low-code.

apache
⭐ 14,559 Java 👤 apache Organization 🕐 Actualizado 2026-11-21 📅 Creado 2019-03-01
7
kedro-org/kedro

Kedro es una caja de herramientas para data science lista para producción. Utiliza las mejores prácticas de ingeniería de software para ayudarte a crear pipelines de ingeniería de datos y data science que sean reproducibles, mantenibles y modulares.

kedro-org
⭐ 11,059 Python 👤 kedro-org Organization 🕐 Actualizado 2026-11-19 📅 Creado 2019-04-18
8
mage-ai/mage-ai

🧙 Cree, ejecute y administre pipelines de datos para integrar y transformar datos.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 Actualizado 2026-11-20 📅 Creado 2022-05-16
9
OpenDCAI/DataFlow

[SIGMOD'27] Preparación sencilla de datos con los operadores y pipelines más recientes basados en LLM.

OpenDCAI
⭐ 8,650 Python 👤 OpenDCAI Organization 🕐 Actualizado 2026-11-18 📅 Creado 2024-10-13
10
fluvio-community/fluvio

🦀 Procesamiento de flujos de eventos para desarrolladores para recopilar y transformar datos en movimiento y potenciar aplicaciones intensivas en datos responsivas.

fluvio-community
⭐ 5,270 Rust 👤 fluvio-community Organization 🕐 Actualizado 2026-11-05 📅 Creado 2019-08-31
11
gayanvoice/top-github-users

¡Consulta tu ranking en GitHub! No olvides dar una ⭐ a este repositorio.

gayanvoice
⭐ 4,988 👤 gayanvoice User 🕐 Actualizado 2026-11-21 📅 Creado 2021-06-03
12
StructuredLabs/preswald

Preswald es un empaquetador WASM para aplicaciones de datos interactivas basadas en Python: empaquete flujos de trabajo de datos complejos completos, en particular visualizaciones, en archivos únicos, ejecutables completamente en el navegador, utilizando Pyodide, DuckDB, Pandas y Plotly, Matplotlib, etc. Cree paneles, informes y cuadernos que se ejecuten sin conexión, carguen rápido y se compartan como un documento.

StructuredLabs
⭐ 4,266 Python 👤 StructuredLabs Organization 🕐 Actualizado 2026-06-11 📅 Creado 2024-12-14
13
ucbepic/docetl

Un sistema para el procesamiento de datos y ETL impulsado por LLM agentivo

ucbepic
⭐ 4,266 Python 👤 ucbepic Organization 🕐 Actualizado 2026-11-17 📅 Creado 2024-07-09
14
Netflix/maestro

Maestro: El orquestador de flujos de trabajo de Netflix

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 Actualizado 2026-11-06 📅 Creado 2024-04-17
15
meltano/meltano

Meltano: el motor de integración de datos declarativo y centrado en el código que impulsa sus ideas más descabelladas de productos impulsados por datos e IA. Diga adiós a la escritura, el mantenimiento y la escalada de sus propias integraciones de API.

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 Actualizado 2026-11-21 📅 Creado 2021-06-21
16
elementary-data/elementary

La solución de observabilidad de datos nativa de dbt para ingenieros de datos y análisis. Monitorea tus pipelines de datos en minutos. Disponible como servicio autohospedado o en la nube con funciones premium.

elementary-data
⭐ 2,435 HTML 👤 elementary-data Organization 🕐 Actualizado 2026-11-18 📅 Creado 2021-08-30
17
feldera/feldera

El Motor de Cálculo Incremental Feldera

feldera
⭐ 2,181 Rust 👤 feldera Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-05-11
18
data-engineering-community/data-engineering-wiki

El mejor lugar para aprender ingeniería de datos. Construido y mantenido por la comunidad de ingeniería de datos.

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 Actualizado 2026-09-15 📅 Creado 2021-05-04
19
bruin-data/bruin

Cree canalizaciones de datos con SQL y Python, ingiera datos de diferentes fuentes, agregue verificaciones de calidad y cree flujos de extremo a extremo.

bruin-data
⭐ 1,816 Go 👤 bruin-data Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-08-03
20
yobix-ai/extractous

Extracción de datos no estructurados, rápida y eficiente. Escrito en Rust con enlaces para muchos idiomas.

yobix-ai
⭐ 1,660 Rust 👤 yobix-ai Organization 🕐 Actualizado 2024-12-21 📅 Creado 2024-06-04
21
dashbitco/flow

Flujos paralelos computacionales sobre GenStage

dashbitco
⭐ 1,625 Elixir 👤 dashbitco Organization 🕐 Actualizado 2026-09-25 📅 Creado 2017-01-18
22
combust/mleap

MLeap: Implementar pipelines de ML en producción

combust
⭐ 1,544 Scala 👤 combust Organization 🕐 Actualizado 2026-11-09 📅 Creado 2016-08-23
23
pyper-dev/pyper

Python concurrente simplificado

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Actualizado 2025-02-04 📅 Creado 2024-05-22
24
Netflix/mantis

Una plataforma que facilita a los desarrolladores crear aplicaciones en tiempo real, rentables y enfocadas en operaciones

Netflix
⭐ 1,472 Java 👤 Netflix Organization 🕐 Actualizado 2026-10-28 📅 Creado 2019-06-06
25
opendatadiscovery/odd-platform

La primera plataforma de código abierto para el descubrimiento y la observabilidad de datos. Facilitamos la vida de los profesionales de datos para que puedas concentrarte en tu negocio.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 Actualizado 2026-10-19 📅 Creado 2021-07-07
27
amphi-ai/amphi-etl

Preparación visual de datos impulsada por Python

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 Actualizado 2026-08-24 📅 Creado 2024-03-20
28
gtoonstra/etl-with-airflow

Mejores prácticas de ETL con Airflow, con ejemplos

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 Actualizado 2024-09-25 📅 Creado 2016-10-16
29
meta-pytorch/data

Un repositorio de PyTorch para carga de datos y utilidades a ser compartidas por las bibliotecas de dominio de PyTorch.

meta-pytorch
⭐ 1,266 Python 👤 meta-pytorch Organization 🕐 Actualizado 2026-11-12 📅 Creado 2021-05-12
30
dataform-co/dataform

Dataform es un framework para gestionar operaciones de datos basadas en SQL en BigQuery.

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 Actualizado 2026-11-20 📅 Creado 2018-09-03
31
fal-ai/fal

⚡ La forma más rápida de servir modelos de ML de código abierto a millones de personas

fal-ai
⭐ 983 Python 👤 fal-ai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-12-11
32
ocsf/ocsf-schema

Esquema OCSF

ocsf
⭐ 917 👤 ocsf Organization 🕐 Actualizado 2026-11-20 📅 Creado 2022-04-16
33
mafintosh/pump

conectar flujos en cadena y cerrar todos ellos si uno de ellos se cierra

mafintosh
⭐ 917 JavaScript 👤 mafintosh User 🕐 Actualizado 2026-02-28 📅 Creado 2013-08-14
35
artie-labs/transfer

Plataforma de replicación de bases de datos que aprovecha la captura de datos de cambios. Transmite datos de producción de bases de datos a tu almacén de datos (Snowflake, BigQuery, Redshift, Databricks) en tiempo real.

artie-labs
⭐ 845 Go 👤 artie-labs Organization 🕐 Actualizado 2026-05-09 📅 Creado 2022-11-06
36
joboccara/pipes

Pipelines para código expresivo en colecciones en C++

joboccara
⭐ 835 C++ 👤 joboccara User 🕐 Actualizado 2024-10-30 📅 Creado 2017-02-19
37
astronomer/airflow-guides

Guías y documentación para ayudarte a ponerte en marcha con Apache Airflow.

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 Actualizado 2025-11-15 📅 Creado 2018-05-17
38
tuplex/tuplex

Tuplex es un framework de procesamiento paralelo de big data que ejecuta pipelines de ciencia de datos escritas en Python a la velocidad del código compilado. Tuplex tiene API de Python similares a las de Apache Spark o Dask, pero en lugar de invocar el intérprete de Python, Tuplex genera bytecode LLVM optimizado para el pipeline y el conjunto de datos de entrada dados.

tuplex
⭐ 812 C++ 👤 tuplex Organization 🕐 Actualizado 2025-08-10 📅 Creado 2021-06-30
39
BasPH/data-pipelines-with-apache-airflow

Código para pipelines de datos con Apache Airflow

BasPH
⭐ 810 Python 👤 BasPH User 🕐 Actualizado 2024-08-15 📅 Creado 2019-06-10
40
turbolytics/sql-flow

DuckDB para datos en streaming

turbolytics
⭐ 808 Go 👤 turbolytics User 🕐 Actualizado 2026-11-21 📅 Creado 2023-11-21
41
raystack/optimus

Optimus es un orquestador de flujos de trabajo fácil de usar, confiable y de alto rendimiento para la transformación de datos, modelado de datos, canalizaciones y gestión de calidad de datos.

raystack
⭐ 757 Go 👤 raystack Organization 🕐 Actualizado 2024-06-08 📅 Creado 2021-03-22
42
datalab-to/pdftext

Extraiga texto estructurado de archivos PDF rápidamente

datalab-to
⭐ 744 Python 👤 datalab-to Organization 🕐 Actualizado 2026-10-22 📅 Creado 2024-04-24
43
digitalocean/firebolt

Framework de Golang para ETL en streaming, tuberías de datos de observabilidad y aplicaciones de procesamiento de eventos

digitalocean
⭐ 717 Go 👤 digitalocean Organization 🕐 Actualizado 2024-06-14 📅 Creado 2019-10-31
44
noneback/go-taskflow

Un marco de programación paralela de tareas de propósito general en Go puro

noneback
⭐ 642 Go 👤 noneback User 🕐 Actualizado 2026-08-16 📅 Creado 2024-03-06
45
cgrand/xforms

Transductores adicionales y funciones de reducción para Clojure(script)

cgrand
⭐ 591 Clojure 👤 cgrand User 🕐 Actualizado 2024-01-22 📅 Creado 2015-09-03
46
singer-io/singer-python

Escribe el formato Singer desde Python

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 Actualizado 2026-11-02 📅 Creado 2016-10-28
47
apache/flink-playgrounds

Apache Flink Campos de juego

apache
⭐ 555 Java 👤 apache Organization 🕐 Actualizado 2026-09-28 📅 Creado 2019-07-12
48
cas-bigdatalab/piflow

πflow es un motor de flujo de big data con soporte para Spark

cas-bigdatalab
⭐ 541 Python 👤 cas-bigdatalab Organization 🕐 Actualizado 2026-11-20 📅 Creado 2018-05-03
49
elementary-data/dbt-data-reliability

Este paquete dbt captura metadatos, artefactos y resultados de pruebas para que puedas detectar anomalías, monitorear la calidad de los datos y construir tablas de metadatos. Alimenta Elementary OSS y proporciona la capa de contexto más amplia utilizada por el completo Data & AI Control Plane de Elementary Cloud.

elementary-data
⭐ 531 Python 👤 elementary-data Organization 🕐 Actualizado 2026-11-18 📅 Creado 2022-01-09
50
LearningJournal/Spark-Programming-In-Python

Apache Spark 3 - Programación con Spark en Python para principiantes

LearningJournal
⭐ 510 Python 👤 LearningJournal User 🕐 Actualizado 2024-07-25 📅 Creado 2020-05-31

Preguntas frecuentes

1

¿Cuál es el repositorio de #data-pipelines más popular en GitHub?

El proyecto de código abierto de #data-pipelines mejor posicionado en GitHub es twitter/the-algorithm, con 73,884 estrellas. Código fuente del algoritmo de recomendación X

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #data-pipelines?

Entre los proyectos de #data-pipelines mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Go, Java, Rust.

3

¿Cómo se calcula la clasificación de los repositorios de #data-pipelines?

Seguimos 50 repositorios activos de código abierto etiquetados con #data-pipelines (500+ estrellas), que suman un total de 323,108 estrellas, con una media de 6,462 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.