#data-engineering Repositorios
152 repositorios en total
Una colección de los repositorios de Github más importantes para profesionales de ML, IA y ciencia de datos
La plataforma central de Project Egeria, que ofrece compatibilidad con Open Metadata y Governance. Cuenta con un sistema de tipos abierto, un grafo de conocimiento distribuido, API REST, gobernanza inteligente y contenido predefinido.
Un repositorio más con conceptos básicos, desafíos técnicos y recursos sobre ingeniería de datos en español 🧙✨
Framework impulsado por la comunidad, simple pero potente para un cálculo distribuido rápido y rentable sobre datos.
FlyFish es una plataforma de codificación de visualización de datos. Podemos crear un modelo de datos rápidamente de una manera sencilla y generar rápidamente un conjunto de soluciones de visualización de datos mediante arrastrar y soltar.
El framework de procesamiento de datos más avanzado que permite crear pipelines de procesamiento de datos escalables y mover datos entre diversas fuentes y destinos de datos.
Neum AI es un marco de primer nivel para gestionar la creación y sincronización de incrustaciones vectoriales a gran escala.
Framework de gestión de datos para Python que proporciona funcionalidad para describir, extraer, validar y transformar datos tabulares
Materiales suplementarios para el curso de Udemy "The Complete dbt (Data Build Tool) Bootcamp"
Ingeniería de datos práctica: una guía de proyectos inmobiliarios prácticos
Harness de ingeniería de datos agentic de código abierto para dbt, SQL y almacenes de datos en la nube. Más de 100 herramientas, 10 almacenes, impulsado por IA.
Framework de Python para construir pipelines de datos eficientes. Promueve la modularidad y la colaboración, permitiendo la creación de pipelines complejos a partir de componentes simples y reutilizables.
Guías y documentación para ayudarte a ponerte en marcha con Apache Airflow.
ChainKnowledgeGraph, el grafo de conocimiento de la cadena industrial incluye empresas cotizadas de acciones A, industrias y productos, un total de 3 tipos de entidades, incluyendo relaciones de pertenencia sectorial de empresas cotizadas, relaciones de industrias superiores, relaciones de materias primas upstream de productos, relaciones de productos downstream, productos principales de la empresa y subcategorías de productos, un total de 6 categorías principales. Empresas cotizadas: 4,654, industrias: 511, productos: 95,559, materias primas upstream: 56,824, industrias superiores: 480, productos downstream: 390, subcategorías de productos: 52,937, industrias de pertenencia: 3,946.
¡Conozca mejor sus datos! Datavines es la plataforma de observabilidad de datos de próxima generación, compatible con la gestión de metadatos y la calidad de los datos.
Los recursos del curso de preparación para el examen de certificación de Asociado de Ingeniería de Datos de Databricks
Compilación de ejemplos del mundo real de alto perfil de proyectos fallidos de aprendizaje automático
¡Este repositorio ayuda a enseñar a la gente a definir y crear tablas acumulativas correctamente!
Este repositorio contiene los cuadernos y presentaciones que utilizamos para nuestras charlas técnicas de Databricks "
Las bibliotecas de AWS Glue son adiciones y mejoras a Spark para operaciones ETL.
VectorFlow es una canalización de incrustación de vectores de alto volumen que ingiere datos sin procesar, los transforma en vectores y los escribe en una base de datos vectorial de su elección.
El motor de flujo de datos es un motor de base impulsado por datos para la integración de datos, sincronización de datos, intercambio de datos, compartición de datos, configuración de tareas y programación de tareas. El motor de flujo de datos adopta arquitecturas como la separación de control y ejecución, flujos multinivel y una biblioteca de plugins para abordar los problemas reales de datos a gran escala, informes de datos de alta frecuencia, recopilación de datos de alta frecuencia y compatibilidad de datos heterogéneos.
Tienda única para todas tus necesidades de programación GIS
Análisis de datos y BI en el navegador con DuckDB-WASM. La privacidad es lo primero: tus datos permanecen localmente; no se necesita ningún servidor.
Análisis de patentes utilizando los conjuntos de datos públicos de Google Patents en BigQuery
Conduit transmite datos entre almacenes de datos. Reemplazo de Kafka Connect. No se requiere JVM.
Synmetrix – capa semántica de código abierto lista para producción sobre Cube
Simulación Monte Carlo de la temporada de la NBA, aprovechando dbt, duckdb y evidence.dev
Un kit de herramientas de Python para extraer y transformar datos de la cadena de bloques de Bitcoin a formatos estructurados.
Este proyecto proporciona ejemplos de Apache Spark SQL, RDD, DataFrame y Dataset en lenguaje Scala.
Lista curada de herramientas de código abierto utilizadas en plataformas de análisis y ecosistema de ingeniería de datos
Código fuente adjunto: BigQuery: La Guía Definitiva de Lakshmanan & Tigani, que será publicada por O'Reilly Media
🧠 Mapa mental de 🗺️ arquitectura de software e ingeniería de software
Wiki que contiene fragmentos de información y conocimiento sobre la máquina virtual BEAM (que ejecuta Erlang/OTP y otros lenguajes basados en BEAM).