#etl Repositórios
105 repositórios no total
Suporte a DataOps ágeis para ontologias baseados em Flink, DataX e Flink-CDC por meio de uma interface Web
Kit de ferramentas ETL em TypeScript para indexar dados de Ethereum, Solana e Substrate, provenientes da SQD Network.
um daemon do go que sincroniza o MongoDB com o Elasticsearch em tempo real. sabe, para buscas.
Extensão de Replicação Lógica para PostgreSQL 17, 16, 15, 14, 13, 12, 11, 10, 9.6, 9.5, 9.4 (Postgres), fornecendo replicação muito mais rápida do que Slony, Bucardo ou Londiste, bem como atualizações entre versões.
Componentes React para gerar arquivos CSV dinamicamente, com base em Array/objeto literal de dados
Crie um data warehouse no SQL Server a partir de dois sistemas de origem, um CRM e um ERP, passando pelas camadas bronze, silver e gold. Arquivos e scripts do projeto completo gratuito.
omniparser: uma biblioteca nativa Golang para ETL, análise (parser) e transformação em streaming para CSV, JSON, XML, EDI, texto, etc.
Dataform é uma estrutura para gerenciar operações de dados baseadas em SQL no BigQuery
🌊 Sincronize continuamente os sistemas onde seus dados residem com os sistemas onde você _deseja_ que eles residam, gerenciando seus fluxos de dados com o Estuary. 🌊
uniVocity-parsers é um conjunto de parsers extremamente rápidos e confiáveis para Java. Ele fornece uma interface consistente para lidar com diferentes formatos de arquivo e uma estrutura sólida para o desenvolvimento de novos parsers.
Sling é uma ferramenta CLI que extrai dados de um armazenamento/banco de dados de origem e os carrega em um armazenamento/banco de dados de destino.
O framework de processamento de dados mais avançado que permite construir pipelines de processamento de dados escaláveis e mover dados entre várias fontes e destinos de dados.
Neum AI é um framework de ponta para gerenciar a criação e sincronização de embeddings vetoriais em grande escala.
Framework ETL para .NET (Parser / Writer para arquivos formatados em CSV, Flat, Xml, JSON, Key-Value, Parquet, Yaml, Avro)
Aplicativo para macOS escrito em Swift que exporta em massa notas da Apple (incluindo notas do iCloud) para uma infinidade de formatos, preservando a estrutura de pastas das notas.
Optimus é um orquestrador de fluxo de trabalho fácil de usar, confiável e de alto desempenho para transformação de dados, modelagem de dados, pipelines e gestão da qualidade de dados.
Utilitário que converte um arquivo .etl contendo uma captura de pacotes de rede do Windows para o formato .pcapng.
As AWS Glue Libraries são adições e melhorias ao Spark para operações de ETL.
Cliente e Toolkit Python para DataFrames, Big Data, Machine Learning e ETL em Elasticsearch
O Projeto de Liberação de Dados de Utilidades Públicas fornece dados de sistemas de energia prontos para análise para defensores do clima, pesquisadores, legisladores e jornalistas.
Projeto de engenharia de dados para iniciantes - edição em lote
Conduit transmite dados entre armazenamentos de dados. Substituição do Kafka Connect. Não é necessária JVM.
A Suite de Transferência de Dados da ApeCloud, escrita em Rust. Oferece replicação de dados ultrarrápida entre MySQL, PostgreSQL, Redis, MongoDB, Kafka e ClickHouse, sendo ideal para cenários de recuperação de desastres (DR) e migração.
🍁 Sycamore é uma plataforma de busca e análise potencializada por LLM (Large Language Model) para dados não estruturados.
Um pacote dbt de uso gratuito para criar e carregar Data Warehouses compatíveis com Data Vault 2.0 (alimentado por dbt, uma ferramenta de engenharia de dados de código aberto, marca registrada da dbt Labs)
Um kit de ferramentas Python para extrair e transformar dados da blockchain Bitcoin em formatos estruturados.
Uma lista selecionada de softwares e recursos incríveis de integração de sistemas.
Uma ferramenta profissional de arquitetura B/S para usuários de desenvolvimento ETL, gerenciamento e agendamento integrado distribuído, desenvolvida com base na versão web do Kettle.
Lista curada de ferramentas de código aberto usadas em plataformas de análise e ecossistema de engenharia de dados
Um hub para vários esquemas específicos da indústria a serem usados com VLMs.