#data-engineering Repositorios
152 repositorios en total
Apache Hamilton ayuda a los científicos e ingenieros de datos a definir flujos de datos probables, modulares y autodocumentados, que codifican el linaje/seguimiento y los metadatos. Se ejecuta y escala en cualquier lugar donde lo haga python.
Motor de Contratos de Datos para la pila de datos moderna. https://www.soda.io
Un servicio de aprendizaje automático de bajo código para clasificar de forma personalizada artículos, listados, resultados de búsqueda, recomendaciones que impulsa la participación del usuario. Un motor amigable de Aprender para Clasificar
Datart es una plataforma abierta de visualización de datos de próxima generación
El mejor lugar para aprender ingeniería de datos. Construido y mantenido por la comunidad de ingeniería de datos.
👾 nao es la solución de BI agéntica de código abierto número uno. (1) Crea contexto con la CLI de nao-core; (2) implementa la interfaz de chat de nao para todos.
El futuro de la ingeniería de datos: un cliente SQL de línea de comandos para el stack de datos moderno que permite una ingeniería de contexto nativa de IA para los datos.
Feathr – Una plataforma de ingeniería de datos e IA escalable y unificada para empresas
Más de 2000 preguntas de entrevista para ingenieros de datos.
Una lista completa de más de 180 canales de YouTube sobre ciencia de datos, ingeniería de datos, aprendizaje automático, aprendizaje profundo, informática, programación, ingeniería de software, etc.
Los materiales del curso gratuito de SQL de 30 horas: las bases de datos de SQL Server, MySQL y PostgreSQL, todas las consultas de los 41 capítulos y las diapositivas.
MLRun es una plataforma de MLOps de código abierto para construir y gestionar rápidamente aplicaciones de ML continuas a lo largo de su ciclo de vida. MLRun se integra en su entorno de desarrollo y CI/CD y automatiza la entrega de datos de producción, tuberías de ML y aplicaciones en línea.
ktx es una capa de contexto ejecutable para agentes de datos y análisis 🐙 Permite que Claude Code, Codex u otros agentes de IA consulten bases de datos analíticas con precisión y con el contexto completo de su empresa
Scripts y documentación para https://www.dolthub.com/repositories/chenditc/investment_data
ETL/ELT de código abierto que puedes implementar en tus propios servidores o en la nube. Basado en DuckDB: pipelines visuales sin código o de bajo código, o SQL; 446 componentes, dbt, CDC, calidad de datos, ETL inverso, linaje y MCP para agentes de IA. Sin nube del proveedor ni facturación por fila.
APIs limpias para la limpieza de datos. Implementación en Python del paquete R Janitor
Una colección curada de más de 300 artículos de blog de ingeniería de las principales empresas tecnológicas. Aprende cómo los mejores equipos de ingeniería resuelven problemas del mundo real a escala.
La primera plataforma de código abierto para el descubrimiento y la observabilidad de datos. Facilitamos la vida de los profesionales de datos para que puedas concentrarte en tu negocio.
Código fuente que acompaña al libro: Ciencia de datos en Google Cloud Platform, Valliappa Lakshmanan, O'Reilly 2017
Quilt es una Plataforma de Gestión de Datos Científicos en AWS que ayuda a equipos e IA a encontrar, confiar y reutilizar datos a través de paquetes de datos profundamente versionados y ricos en contexto.
Crawler de Dianping (se puede rastrear en todo el sitio, resuelve el cifrado de fuentes dinámicas, no OCR). Actualización continua
Un centro de conocimiento de ingeniería de datos y aprendizaje automático
Una lista seleccionada, pero incompleta, de recursos de IA centrados en datos.
Pruebas de contratos de datos de código abierto para Snowflake, Databricks, BigQuery, Kafka y otras 15 plataformas. Basadas en el Estándar Abierto de Contratos de Datos (ODCS). Licencia MIT.
Una lista curada de recursos increíblemente geniales de Hadoop y del ecosistema Hadoop
Crea un almacén de datos en SQL Server a partir de dos sistemas de origen, un CRM y un ERP, pasando por las capas bronze, silver y gold. Archivos y scripts del proyecto completo y gratuito.
Ejemplos públicos ejecutables de uso de NLP de John Snow Labs para Apache Spark.
🧞 Convierta objetos JSON a MySQL, JSON Schema, Mongoose, Google BigQuery, Swagger y más.
📙 Impresionantes catálogos de datos y plataformas de observabilidad.
Materiales del curso de Análisis en Mercados Bursátiles Zoomcamp
Dataform es un framework para gestionar operaciones de datos basadas en SQL en BigQuery.
🌊 Sincronice continuamente los sistemas donde residen sus datos con los sistemas donde _desea_ que residan, gestionando sus flujos de datos con Estuary. 🌊