#data-pipeline Repositorios
Descubre 67 repositorios activos de código abierto de GitHub etiquetados con #data-pipeline, que acumulan 219,024 estrellas en total (una media de 3,269 estrellas por proyecto). El líder de este tema es xai-org/x-algorithm, con 34,361 estrellas.
67 repositorios en total
Movimiento de datos de código abierto para pipelines ELT y agentes de IA — de APIs, bases de datos y archivos a almacenes, lagos y aplicaciones de IA. Tanto autoalojado como Cloud.
Empoderando la Inteligencia de Datos con SQL Distribuido para Sharding, Escalabilidad y Seguridad en Todas las Bases de Datos.
Captura de datos modificados para una variedad de bases de datos. Por favor, registre los problemas en https://github.com/debezium/dbz/issues.
Una lista curada de motores de flujo de trabajo de código abierto increíbles
El repositorio RedPajama-Data contiene código para preparar grandes conjuntos de datos para entrenar modelos de lenguaje grandes.
Orquestador de flujos de trabajo autohospedable para equipos cuyo trabajo principal no es la orquestación. YAML declarativo para gestionar tus scripts, comandos SSH, contenedores, etc.; mantén los flujos de trabajo separados de la lógica de negocio. Un solo binario, sin base de datos, funciona con recursos de hardware limitados. Una alternativa a Airflow, Cron y los programadores de trabajos.
Alternativa a Segment enfocada en Privacidad y Seguridad, en Golang y React
ingestr es una herramienta CLI para copiar datos entre cualquier base de datos con un solo comando sin problemas.
Una lista de recursos útiles para aprender Data Engineering desde cero
Servidor de inferencia de código abierto y clúster de producción para todos los modelos que necesita su agente.
Memphis.dev es una plataforma de transmisión de datos altamente escalable y sin esfuerzo
Una biblioteca de registro de datos de código abierto para modelos de aprendizaje automático y canalizaciones de datos. 📚 Proporciona visibilidad sobre la calidad de los datos y el rendimiento del modelo a lo largo del tiempo. 🛡️ Admite la recopilación de datos que preservan la privacidad, garantizando seguridad y robustez. 📈
Miembros del Congreso de los Estados Unidos, 1789-Presente, en YAML/JSON/CSV, así como comités, presidentes y vicepresidentes.
La solución de observabilidad de datos nativa de dbt para ingenieros de datos y análisis. Monitorea tus pipelines de datos en minutos. Disponible como servicio autohospedado o en la nube con funciones premium.
Meridian atraviesa el ruido de las noticias al extraer de cientos de fuentes, analizar historias con IA y entregar resúmenes diarios concisos y personalizados.
Retriever de datos de Polymarket que obtiene, procesa y estructura datos de Polymarket, incluyendo mercados, eventos de órdenes y operaciones.
OLake Go: replicación de código abierto desde bases de datos, Kafka y S3 a Apache Iceberg y Parquet. Fuentes: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Anteriormente datazip-inc/olake. El mantenimiento de tablas se encuentra en datazip-inc/olake-fusion.
Sistema compuesto de análisis de equipo de acciones con múltiples agentes inteligentes de IA para vigilancia de tableros, basado en múltiples agentes de IA, simula el proceso de análisis de un equipo de analistas de valores, proporcionando análisis integral de inversiones en acciones y sugerencias de decisión. Nuevo: análisis de seguimiento de lista dragón-tigre de capital caliente, análisis de alerta y rotación de sectores, soporta análisis por lotes multi-hilo, monitoreo en tiempo real de puntos clave, envío de alertas, interfaz miniqmt reservada, soporta trading cuantitativo, realmente logra 'IA opera acciones por ti', adecuado para acciones A de China continental. Para el sitio de prueba abajo, ingrese clave temporal deepseek, elimine después de probar para evitar riesgo de fuga. Nota: Acceso excesivo al servicio cloud de prueba puede causar rechazo de fuente de datos. Para uso, despliegue localmente.
Crawlear secwiki y xuanwu.github.io/sec.today, analizar sitios de información de seguridad, tendencias de seguridad, extraer cuentas de trabajadores de seguridad (twitter, weixin, github, etc.)
ETL/ELT de código abierto que puedes implementar en tus propios servidores o en la nube. Basado en DuckDB: pipelines visuales sin código o de bajo código, o SQL; 446 componentes, dbt, CDC, calidad de datos, ETL inverso, linaje y MCP para agentes de IA. Sin nube del proveedor ni facturación por fila.
Código fuente que acompaña al libro: Ciencia de datos en Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017
Kspider es una plataforma de rastreo que permite definir flujos de rastreo de forma gráfica, lo que permite implementar un flujo de rastreo sin código. Kspider no se limita al rastreo web, sino que también se puede utilizar para pruebas de automatización WEB. Más funciones te esperan para ser exploradas.
Crea un almacén de datos en SQL Server a partir de dos sistemas de origen, un CRM y un ERP, pasando por las capas bronze, silver y gold. Archivos y scripts del proyecto completo y gratuito.
zerocode-tdd es un marco de pruebas automatizadas gratuito y de código abierto, desarrollado por la comunidad y orientado a resultados, para canalizaciones de datos, ETL, API REST, Kafka (flujos de datos), bases de datos y escenarios de carga; todo definido en JSON o YAML sencillo, sin necesidad de programar.
🌊 Sincronice continuamente los sistemas donde residen sus datos con los sistemas donde _desea_ que residan, gestionando sus flujos de datos con Estuary. 🌊
qData es una plataforma de datos de código abierto, ligera, completa en funciones y nativa de IA. Abarca la integración, el desarrollo, el modelado y la gobernanza de datos, así como los activos y los servicios de API, con implementación autogestionada, escalado flexible y uso comercial.
SeaTunnel es una plataforma de integración de datos distribuida y de alto rendimiento para la sincronización y transformación de datos masivos (offline y en tiempo real).
Herramienta Pythonica para orquestar flujos de trabajo de aprendizaje automático/alto rendimiento/computación cuántica en entornos informáticos heterogéneos.
Census Reporter es un proyecto financiado por Knight News Challenge para facilitar que los periodistas escriban historias utilizando información de la Oficina del Censo de EE. UU.
Ingeniería de datos práctica: una guía de proyectos inmobiliarios prácticos
La lista de tendencias de Weibo registra las búsquedas populares en Weibo a partir del 24 de noviembre de 2020. Los datos se recopilan cada hora y se archivan diariamente.
Datos abiertos de direcciones a nivel de barrio (277.191 elementos) a nivel nacional
Maneje fácilmente las operaciones CLI del día a día a través de Python en lugar de programas Bash regulares. 🇺🇦 #supporting
Análisis retrospectivo de discusiones de Hacker News de hace una década utilizando LLMs
Preguntas frecuentes
¿Cuál es el repositorio de #data-pipeline más popular en GitHub?
El proyecto de código abierto de #data-pipeline mejor posicionado en GitHub es xai-org/x-algorithm, con 34,361 estrellas. Algoritmo que impulsa el feed 'For You' en X
¿Qué lenguajes de programación se utilizan más en los repositorios de #data-pipeline?
Entre los proyectos de #data-pipeline mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Java, Go, Rust.
¿Cómo se calcula la clasificación de los repositorios de #data-pipeline?
Seguimos 67 repositorios activos de código abierto etiquetados con #data-pipeline (500+ estrellas), que suman un total de 219,024 estrellas, con una media de 3,269 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.