#data-engineering Repositorios
Descubre 152 repositorios activos de código abierto de GitHub etiquetados con #data-engineering, que acumulan 727,632 estrellas en total (una media de 4,787 estrellas por proyecto). El líder de este tema es apache/superset, con 75,603 estrellas.
152 repositorios en total
Apache Superset es una Plataforma de Visualización de Datos y Exploración de Datos
Aprende a desarrollar, implementar y iterar en aplicaciones de ML de grado de producción.
Apache Airflow - Una plataforma para crear de manera programática, programar y monitorear flujos de trabajo
Data Engineering Zoomcamp es un curso gratuito de 9 semanas sobre la creación de canalizaciones de datos listas para producción. Únete al curso aquí 👇🏼
Orqueste todo, en todas partes. El plano de control de código abierto para flujos de trabajo de datos, infraestructura, procesos empresariales y agentes de IA. Declarativo con YAML, basado en eventos, compatible con cualquier lenguaje, con control de versiones en Git y escalable a millones de ejecuciones.
📚 Artículos y blogs de tecnología de empresas que comparten su trabajo sobre ciencia de datos y aprendizaje automático en producción.
Prefect es un marco de orquestación de flujos de trabajo para construir tuberías de datos resilientes en Python.
Movimiento de datos de código abierto para pipelines ELT y agentes de IA — de APIs, bases de datos y archivos a almacenes, lagos y aplicaciones de IA. Tanto autoalojado como Cloud.
Convierte datos y algoritmos de IA en aplicaciones web listas para producción en muy poco tiempo.
Una plataforma de orquestación para el desarrollo, producción y observación de activos de datos.
Motor incremental para agentes de horizonte largo 🌟 ¡Pon una estrella si te gusta!
🐚 Shell impulsado por Python. Con todas las funciones, multiplataforma y amigable con la IA.
Plataforma de streaming de eventos para IA agentiva. Ingestión, transformación y servicio continuos de flujos de eventos en tiempo real, a escala.
🧙 Cree, ejecute y administre pipelines de datos para integrar y transformar datos.
Extracción de Datos No Estructurados Impulsada por LLM — Diseñada para Despliegues API y Flujos de Trabajo ETL
Inteligencia empresarial como código: cree visualizaciones de datos rápidas e interactivas en SQL y markdown
Pipelines de datos para la configuración en la nube y los datos de seguridad. Desarrolle soluciones de inventario de activos en la nube, CSPM, FinOps y gestión de vulnerabilidades. Extracción de datos de AWS, Azure, GCP y más de 70 fuentes cloud y SaaS.
Data Load Tool (dlt) es una biblioteca Python de código abierto que facilita la carga de datos 🛠️
Página de visualización integrada de DataX: seleccione una fuente de datos para generar tareas de sincronización de datos con un solo clic. Soporta fuentes de datos como RDBMS, Hive, HBase, ClickHouse, MongoDB, etc. Creación masiva de tareas de sincronización de datos RDBMS, integración con sistemas de programación de código abierto, soporte para procesamiento distribuido, sincronización incremental de datos, visualización en tiempo real de registros de ejecución, monitoreo de recursos del ejecutor, KILL de procesos en ejecución, encriptación de información de fuentes de datos, etc.
Motor de datos de alto rendimiento para cargas de trabajo de IA y multimodales. Procese imágenes, audio, video y datos estructurados a cualquier escala.
Resúmenes y recursos para el libro "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)
DeepAnalyze es el primer LLM agéntico para la ciencia de datos autónoma. 🎈 ¡Tu analista de datos de IA que analiza automáticamente grandes cantidades de datos y genera informes de análisis profesionales con un solo clic!
Alternativa a Segment enfocada en Privacidad y Seguridad, en Golang y React
SQL Translator es una herramienta para convertir consultas en lenguaje natural en código SQL utilizando inteligencia artificial. Este proyecto es 100% gratuito y de código abierto.
pandas en AWS - Integración fácil con Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer y S3 (Parquet, CSV, JSON y EXCEL).
Una lista de recursos útiles para aprender Data Engineering desde cero
¡Una lista de muchas preguntas de entrevista y desafíos del mundo real en tecnología! (https://tech-vault-web.vercel.app/)
Sustituto drop-in de Apache Spark escrito en Rust, que unifica el procesamiento por lotes, el procesamiento en streaming y las cargas de trabajo de IA intensivas en cómputo.
Memphis.dev es una plataforma de transmisión de datos altamente escalable y sin esfuerzo
Aprenda a diseñar, desarrollar, implementar e iterar en aplicaciones de ML listas para producción.
Apache DevLake es una plataforma de datos de desarrollo de código abierto para ingerir, analizar y visualizar los datos fragmentados de las herramientas DevOps, extrayendo información para la excelencia en ingeniería, la experiencia del desarrollador y el crecimiento de la comunidad.
Aprende a construir tu asistente de IA Second Brain con LLMs, agentes, RAG, fine-tuning, LLMOps y técnicas de sistemas de IA.
Un nuevo SOTA para RAG: una arquitectura de recuperación original y una base de conocimientos de código abierto para humanos y agentes.
Una lista impresionante de proyectos de ingeniería de datos de código abierto
Meltano: el motor de integración de datos declarativo y centrado en el código que impulsa sus ideas más descabelladas de productos impulsados por datos e IA. Diga adiós a la escritura, el mantenimiento y la escalada de sus propias integraciones de API.
Preguntas frecuentes
¿Cuál es el repositorio de #data-engineering más popular en GitHub?
El proyecto de código abierto de #data-engineering mejor posicionado en GitHub es apache/superset, con 75,603 estrellas. Apache Superset es una Plataforma de Visualización de Datos y Exploración de Datos
¿Qué lenguajes de programación se utilizan más en los repositorios de #data-engineering?
Entre los proyectos de #data-engineering mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Go, Rust, Jupyter Notebook.
¿Cómo se calcula la clasificación de los repositorios de #data-engineering?
Seguimos 152 repositorios activos de código abierto etiquetados con #data-engineering (500+ estrellas), que suman un total de 727,632 estrellas, con una media de 4,787 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.