Git Stars Git Stars

#etl Repositórios

105
Total de Repositórios
408,616
Total de estrelas
3,891
Média de Estrelas/Repositório

105 repositórios no total

51
datavane/tis

Suporte a DataOps ágeis para ontologias baseados em Flink, DataX e Flink-CDC por meio de uma interface Web

datavane
⭐ 1,448 Java 👤 datavane Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-01-23
52
toluaina/pgsync

Sincronização de Postgres, MySQL ou MariaDB para Elasticsearch/OpenSearch

toluaina
⭐ 1,433 Python 👤 toluaina User 🕐 Atualizado 2026-11-20 📅 Criado 2019-08-17
53
xitongsys/parquet-go

biblioteca pura em golang para leitura/escrita de arquivos parquet

xitongsys
⭐ 1,432 Go 👤 xitongsys User 🕐 Atualizado 2026-05-08 📅 Criado 2017-09-02
54
amphi-ai/amphi-etl

Preparação visual de dados impulsionada por Python

amphi-ai
⭐ 1,410 TypeScript 👤 amphi-ai Organization 🕐 Atualizado 2026-08-24 📅 Criado 2024-03-20
55
spark-examples/pyspark-examples

Exemplos de Pyspark RDD, DataFrame e Dataset na linguagem Python

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 Atualizado 2025-12-07 📅 Criado 2019-11-26
56
gtoonstra/etl-with-airflow

Práticas recomendadas de ETL com Airflow, com exemplos

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 Atualizado 2024-09-25 📅 Criado 2016-10-16
57
yhat/pandasql

sqldf para pandas

yhat
⭐ 1,351 Python 👤 yhat Organization 🕐 Atualizado 2024-07-24 📅 Criado 2013-02-18
58
subsquid/squid-sdk

Kit de ferramentas ETL em TypeScript para indexar dados de Ethereum, Solana e Substrate, provenientes da SQD Network.

subsquid
⭐ 1,347 TypeScript 👤 subsquid Organization 🕐 Atualizado 2026-11-20 📅 Criado 2021-12-10
59
singer-io/getting-started

Este repositório é um guia de introdução ao Singer.

singer-io
⭐ 1,342 Makefile 👤 singer-io Organization 🕐 Atualizado 2025-08-08 📅 Criado 2016-10-31
60
rwynn/monstache

um daemon do go que sincroniza o MongoDB com o Elasticsearch em tempo real. sabe, para buscas.

rwynn
⭐ 1,331 Go 👤 rwynn User 🕐 Atualizado 2025-08-22 📅 Criado 2016-05-14
61
2ndQuadrant/pglogical

Extensão de Replicação Lógica para PostgreSQL 17, 16, 15, 14, 13, 12, 11, 10, 9.6, 9.5, 9.4 (Postgres), fornecendo replicação muito mais rápida do que Slony, Bucardo ou Londiste, bem como atualizações entre versões.

2ndQuadrant
⭐ 1,243 C 👤 2ndQuadrant Organization 🕐 Atualizado 2026-07-28 📅 Criado 2016-05-10
62
react-csv/react-csv

Componentes React para gerar arquivos CSV dinamicamente, com base em Array/objeto literal de dados

react-csv
⭐ 1,182 JavaScript 👤 react-csv Organization 🕐 Atualizado 2024-04-03 📅 Criado 2016-11-25
63
DataWithBaraa/sql-data-warehouse-project

Crie um data warehouse no SQL Server a partir de dois sistemas de origem, um CRM e um ERP, passando pelas camadas bronze, silver e gold. Arquivos e scripts do projeto completo gratuito.

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 Atualizado 2026-11-06 📅 Criado 2024-12-30
64
jf-tech/omniparser

omniparser: uma biblioteca nativa Golang para ETL, análise (parser) e transformação em streaming para CSV, JSON, XML, EDI, texto, etc.

jf-tech
⭐ 1,085 Go 👤 jf-tech User 🕐 Atualizado 2026-10-11 📅 Criado 2020-08-16
65
dataform-co/dataform

Dataform é uma estrutura para gerenciar operações de dados baseadas em SQL no BigQuery

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-09-03
66
estuary/flow

🌊 Sincronize continuamente os sistemas onde seus dados residem com os sistemas onde você _deseja_ que eles residam, gerenciando seus fluxos de dados com o Estuary. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-02-13
67
uniVocity/univocity-parsers

uniVocity-parsers é um conjunto de parsers extremamente rápidos e confiáveis para Java. Ele fornece uma interface consistente para lidar com diferentes formatos de arquivo e uma estrutura sólida para o desenvolvimento de novos parsers.

uniVocity
⭐ 931 Java 👤 uniVocity Organization 🕐 Atualizado 2024-08-17 📅 Criado 2014-07-12
68
slingdata-io/sling-cli

Sling é uma ferramenta CLI que extrai dados de um armazenamento/banco de dados de origem e os carrega em um armazenamento/banco de dados de destino.

slingdata-io
⭐ 926 Go 👤 slingdata-io Organization 🕐 Atualizado 2026-11-20 📅 Criado 2020-10-15
69
flow-php/flow

O framework de processamento de dados mais avançado que permite construir pipelines de processamento de dados escaláveis e mover dados entre várias fontes e destinos de dados.

flow-php
⭐ 875 PHP 👤 flow-php Organization 🕐 Atualizado 2026-11-20 📅 Criado 2021-05-23
70
NeumTry/NeumAI

Neum AI é um framework de ponta para gerenciar a criação e sincronização de embeddings vetoriais em grande escala.

NeumTry
⭐ 864 Python 👤 NeumTry Organization 🕐 Atualizado 2024-01-15 📅 Criado 2023-09-14
71
Cinchoo/ChoETL

Framework ETL para .NET (Parser / Writer para arquivos formatados em CSV, Flat, Xml, JSON, Key-Value, Parquet, Yaml, Avro)

Cinchoo
⭐ 860 C# 👤 Cinchoo User 🕐 Atualizado 2026-10-19 📅 Criado 2016-10-19
72
aelassas/wexflow

Mecanismo de Automação de Fluxo de Trabalho

aelassas
⭐ 845 C# 👤 aelassas User 🕐 Atualizado 2026-11-16 📅 Criado 2022-10-29
73
awslabs/python-deequ

API Python para Deequ

awslabs
⭐ 826 Jupyter Notebook 👤 awslabs Organization 🕐 Atualizado 2026-10-24 📅 Criado 2020-11-09
74
pgflo/pg_flo

Transmitir, transformar e rotear dados do PostgreSQL em tempo real.

pgflo
⭐ 825 Go 👤 pgflo Organization 🕐 Atualizado 2025-12-29 📅 Criado 2024-09-02
75
paillave/Etl.Net

Processamento em massa de dados com um ETL completo para desenvolvedores .net

paillave
⭐ 812 C# 👤 paillave User 🕐 Atualizado 2026-10-09 📅 Criado 2018-06-23
76
BasPH/data-pipelines-with-apache-airflow

Código para Pipelines de Dados com Apache Airflow

BasPH
⭐ 810 Python 👤 BasPH User 🕐 Atualizado 2024-08-15 📅 Criado 2019-06-10
77
kzaremski/apple-notes-exporter

Aplicativo para macOS escrito em Swift que exporta em massa notas da Apple (incluindo notas do iCloud) para uma infinidade de formatos, preservando a estrutura de pastas das notas.

kzaremski
⭐ 780 Swift 👤 kzaremski User 🕐 Atualizado 2026-09-19 📅 Criado 2023-02-15
78
raystack/optimus

Optimus é um orquestrador de fluxo de trabalho fácil de usar, confiável e de alto desempenho para transformação de dados, modelagem de dados, pipelines e gestão da qualidade de dados.

raystack
⭐ 757 Go 👤 raystack Organization 🕐 Atualizado 2024-06-08 📅 Criado 2021-03-22
79
microsoft/etl2pcapng

Utilitário que converte um arquivo .etl contendo uma captura de pacotes de rede do Windows para o formato .pcapng.

microsoft
⭐ 718 C 👤 microsoft Organization 🕐 Atualizado 2025-06-05 📅 Criado 2019-09-16
80
koopjs/koop

Transformar, consultar e baixar dados geoespaciais na web.

koopjs
⭐ 715 JavaScript 👤 koopjs Organization 🕐 Atualizado 2026-11-16 📅 Criado 2013-07-20
81
neuml/paperetl

📄 ⚙️ Processos ETL para artigos médicos e científicos

neuml
⭐ 701 Python 👤 neuml Organization 🕐 Atualizado 2025-12-07 📅 Criado 2020-07-10
82
awslabs/aws-glue-libs

As AWS Glue Libraries são adições e melhorias ao Spark para operações de ETL.

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 Atualizado 2026-10-30 📅 Criado 2017-08-11
83
elastic/eland

Cliente e Toolkit Python para DataFrames, Big Data, Machine Learning e ETL em Elasticsearch

elastic
⭐ 693 Python 👤 elastic Organization 🕐 Atualizado 2026-06-16 📅 Criado 2019-06-11
84
tableau/webdataconnector

Traga para o Tableau os dados que você se importa

tableau
⭐ 688 HTML 👤 tableau Organization 🕐 Atualizado 2026-10-19 📅 Criado 2015-10-12
85
dbt-labs/dbt-codegen

Macros que geram código dbt

dbt-labs
⭐ 677 Makefile 👤 dbt-labs Organization 🕐 Atualizado 2026-10-01 📅 Criado 2019-06-10
86
datacleaner/DataCleaner

A principal solução de Qualidade de Dados de código aberto

datacleaner
⭐ 646 Java 👤 datacleaner Organization 🕐 Atualizado 2026-11-15 📅 Criado 2014-02-20
87
catalyst-cooperative/pudl

O Projeto de Liberação de Dados de Utilidades Públicas fornece dados de sistemas de energia prontos para análise para defensores do clima, pesquisadores, legisladores e jornalistas.

catalyst-cooperative
⭐ 621 Python 👤 catalyst-cooperative Organization 🕐 Atualizado 2026-11-21 📅 Criado 2017-02-01
88
josephmachado/beginner_de_project

Projeto de engenharia de dados para iniciantes - edição em lote

josephmachado
⭐ 620 HTML 👤 josephmachado User 🕐 Atualizado 2026-04-13 📅 Criado 2020-05-23
89
ConduitIO/conduit

Conduit transmite dados entre armazenamentos de dados. Substituição do Kafka Connect. Não é necessária JVM.

ConduitIO
⭐ 617 Go 👤 ConduitIO Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-01-11
90
apecloud/ape-dts

A Suite de Transferência de Dados da ApeCloud, escrita em Rust. Oferece replicação de dados ultrarrápida entre MySQL, PostgreSQL, Redis, MongoDB, Kafka e ClickHouse, sendo ideal para cenários de recuperação de desastres (DR) e migração.

apecloud
⭐ 616 Rust 👤 apecloud Organization 🕐 Atualizado 2026-11-20 📅 Criado 2023-01-12
91
insitro/redun

Mais um motor de fluxo de trabalho redundante

insitro
⭐ 610 Python 👤 insitro Organization 🕐 Atualizado 2026-11-18 📅 Criado 2021-11-04
92
aryn-ai/sycamore

🍁 Sycamore é uma plataforma de busca e análise potencializada por LLM (Large Language Model) para dados não estruturados.

aryn-ai
⭐ 605 Python 👤 aryn-ai Organization 🕐 Atualizado 2026-08-01 📅 Criado 2023-07-07
93
Datavault-UK/automate-dv

Um pacote dbt de uso gratuito para criar e carregar Data Warehouses compatíveis com Data Vault 2.0 (alimentado por dbt, uma ferramenta de engenharia de dados de código aberto, marca registrada da dbt Labs)

Datavault-UK
⭐ 599 👤 Datavault-UK Organization 🕐 Atualizado 2026-02-05 📅 Criado 2019-09-27
94
YotpoLtd/metorikku

Um framework ETL simplificado e leve baseado no Apache Spark

YotpoLtd
⭐ 589 Scala 👤 YotpoLtd Organization 🕐 Atualizado 2026-09-01 📅 Criado 2017-10-10
95
singer-io/singer-python

Escreve o formato Singer em Python

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 Atualizado 2026-11-02 📅 Criado 2016-10-28
96
taz4et/bitcoin-etl

Um kit de ferramentas Python para extrair e transformar dados da blockchain Bitcoin em formatos estruturados.

taz4et
⭐ 580 Python 👤 taz4et User 🕐 Atualizado 2025-11-24 📅 Criado 2025-11-14
97
stn1slv/awesome-integration

Uma lista selecionada de softwares e recursos incríveis de integração de sistemas.

stn1slv
⭐ 572 Markdown 👤 stn1slv User 🕐 Atualizado 2026-11-21 📅 Criado 2021-07-23
98
JoeyBling/webkettle

Uma ferramenta profissional de arquitetura B/S para usuários de desenvolvimento ETL, gerenciamento e agendamento integrado distribuído, desenvolvida com base na versão web do Kettle.

JoeyBling
⭐ 572 JavaScript 👤 JoeyBling User 🕐 Atualizado 2024-06-25 📅 Criado 2018-05-23
99
pracdata/awesome-open-source-data-engineering

Lista curada de ferramentas de código aberto usadas em plataformas de análise e ecossistema de engenharia de dados

pracdata
⭐ 564 👤 pracdata Organization 🕐 Atualizado 2025-03-12 📅 Criado 2024-02-22
100
vlm-run/vlmrun-hub

Um hub para vários esquemas específicos da indústria a serem usados com VLMs.

vlm-run
⭐ 555 Python 👤 vlm-run Organization 🕐 Atualizado 2025-12-15 📅 Criado 2024-11-11