#etl Repositorios
105 repositorios en total
Admite DataOps ágiles para ontologías basados en Flink, DataX y Flink-CDC mediante una interfaz web
Kit de herramientas ETL en TypeScript para indexar datos de Ethereum, Solana y Substrate, provenientes de SQD Network.
Un daemon de Go que sincroniza MongoDB a Elasticsearch en tiempo real. Ya sabes, para búsqueda.
Extensión de Replicación Lógica para PostgreSQL 17, 16, 15, 14, 13, 12, 11, 10, 9.6, 9.5, 9.4 (Postgres), que proporciona una replicación mucho más rápida que Slony, Bucardo o Londiste, así como actualizaciones entre versiones.
Componentes de React para construir archivos CSV sobre la marcha basados en Array/objeto literal de datos
Crea un almacén de datos en SQL Server a partir de dos sistemas de origen, un CRM y un ERP, pasando por las capas bronze, silver y gold. Archivos y scripts del proyecto completo y gratuito.
omniparser: una biblioteca nativa de Golang para análisis y transformación de streaming ETL para CSV, JSON, XML, EDI, texto, etc.
Dataform es un framework para gestionar operaciones de datos basadas en SQL en BigQuery.
🌊 Sincronice continuamente los sistemas donde residen sus datos con los sistemas donde _desea_ que residan, gestionando sus flujos de datos con Estuary. 🌊
uniVocity-parsers es un conjunto de analizadores extremadamente rápidos y confiables para Java. Proporciona una interfaz coherente para manejar diferentes formatos de archivo y un marco sólido para el desarrollo de nuevos analizadores.
Sling es una herramienta CLI que extrae datos de un almacenamiento/base de datos de origen y los carga en un almacenamiento/base de datos de destino.
El framework de procesamiento de datos más avanzado que permite crear pipelines de procesamiento de datos escalables y mover datos entre diversas fuentes y destinos de datos.
Neum AI es un marco de primer nivel para gestionar la creación y sincronización de incrustaciones vectoriales a gran escala.
Framework ETL para .NET (Analizador / Escritor para archivos en formato CSV, Flat, Xml, JSON, Key-Value, Parquet, Yaml, Avro)
Aplicación para macOS escrita en Swift que exporta en masa notas de Apple (incluidas las notas de iCloud) a una multitud de formatos, conservando la estructura de carpetas de las notas.
Optimus es un orquestador de flujos de trabajo fácil de usar, confiable y de alto rendimiento para la transformación de datos, modelado de datos, canalizaciones y gestión de calidad de datos.
Utilidad que convierte un archivo .etl que contiene una captura de paquetes de red de Windows al formato .pcapng.
Las bibliotecas de AWS Glue son adiciones y mejoras a Spark para operaciones ETL.
Cliente y kit de herramientas de Python para DataFrames, Big Data, Machine Learning y ETL en Elasticsearch
El Proyecto de Liberación de Datos de Servicios Públicos proporciona datos de sistemas energéticos listos para análisis a defensores del clima, investigadores, formuladores de políticas y periodistas.
Proyecto de ingeniería de datos para principiantes - edición por lotes
Conduit transmite datos entre almacenes de datos. Reemplazo de Kafka Connect. No se requiere JVM.
La suite de transferencia de datos de ApeCloud, escrita en Rust. Proporciona replicación de datos ultrarrápida entre MySQL, PostgreSQL, Redis, MongoDB, Kafka y ClickHouse, ideal para escenarios de recuperación ante desastres (DR) y migración.
Sycamore es una plataforma de búsqueda y análisis impulsada por LLM para datos no estructurados.
Un paquete dbt gratuito para crear y cargar Data Warehouses compatibles con Data Vault 2.0 (impulsado por dbt, una herramienta de ingeniería de datos de código abierto, marca registrada de dbt Labs)
Un kit de herramientas de Python para extraer y transformar datos de la cadena de bloques de Bitcoin a formatos estructurados.
Una lista curada de software y recursos increíbles de integración de sistemas.
Una herramienta de arquitectura B/S de edición profesional para usuarios de desarrollo ETL, gestión y programación integral distribuida, desarrollada basada en la versión web de Kettle
Lista curada de herramientas de código abierto utilizadas en plataformas de análisis y ecosistema de ingeniería de datos
Un centro para varios esquemas específicos de la industria para usar con VLMs.