Git Stars Git Stars

#data-engineering Repositórios

Descubra 152 repositórios ativos de código aberto no GitHub marcados com #data-engineering, acumulando um total de 727,632 estrelas (uma média de 4,787 por projeto). O líder deste tópico é apache/superset, com 75,603 estrelas.

152
Total de Repositórios
727,632
Total de estrelas
4,787
Média de Estrelas/Repositório

152 repositórios no total

1
apache/superset

Apache Superset é uma Plataforma de Visualização e Exploração de Dados

apache
⭐ 75,603 Python 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2015-07-21
2
GokuMohandas/Made-With-ML

Aprenda a desenvolver, implantar e iterar em aplicativos de ML de nível de produção.

GokuMohandas
⭐ 50,112 Jupyter Notebook 👤 GokuMohandas User 🕐 Atualizado 2026-03-04 📅 Criado 2018-11-05
3
apache/airflow

Apache Airflow - Uma plataforma para criar, agendar e monitorar fluxos de trabalho programaticamente

apache
⭐ 47,583 Python 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2015-04-13
4
DataTalksClub/data-engineering-zoomcamp

Data Engineering Zoomcamp é um curso gratuito de 9 semanas sobre a criação de pipelines de dados prontos para produção. Participe do curso aqui 👇🏼

DataTalksClub
⭐ 46,997 Jupyter Notebook 👤 DataTalksClub Organization 🕐 Atualizado 2026-11-16 📅 Criado 2021-10-21
5
kestra-io/kestra

Orquestre tudo, em qualquer lugar. O plano de controle de código aberto para fluxos de trabalho de dados, infraestrutura, processos de negócios e agentes de IA. Declarativo em YAML, orientado a eventos, compatível com qualquer linguagem, versionado com Git e escalável para milhões de execuções.

kestra-io
⭐ 30,303 Java 👤 kestra-io Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-08-24
6
eugeneyan/applied-ml

📚 Artigos e blogs de tecnologia de empresas compartilhando seu trabalho em ciência de dados e aprendizado de máquina em produção.

eugeneyan
⭐ 28,577 👤 eugeneyan User 🕐 Atualizado 2024-07-18 📅 Criado 2020-07-04
7
PrefectHQ/prefect

Prefect é um framework de orquestração de fluxo de trabalho para construir pipelines de dados resilientes em Python.

PrefectHQ
⭐ 24,203 Python 👤 PrefectHQ Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-06-29
8
airbytehq/airbyte

Movimentação de dados open-source para pipelines ELT e agentes de IA — de APIs, bancos de dados e arquivos para data warehouses, lagos de dados e aplicações de IA. Tanto self-hosted quanto Cloud.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-07-27
9
Avaiga/taipy

Transforma dados e algoritmos de IA em aplicações web prontas para produção em pouco tempo.

Avaiga
⭐ 19,458 Python 👤 Avaiga Organization 🕐 Atualizado 2026-08-10 📅 Criado 2022-02-18
10
argoproj/argo-workflows

Motor de Fluxo de Trabalho para Kubernetes

argoproj
⭐ 17,108 Go 👤 argoproj Organization 🕐 Atualizado 2026-11-21 📅 Criado 2017-08-21
11
dagster-io/dagster

Uma plataforma de orquestração para o desenvolvimento, produção e observação de ativos de dados.

dagster-io
⭐ 16,453 Python 👤 dagster-io Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-04-30
12
andkret/Cookbook

O Livro de Receitas de Engenharia de Dados

andkret
⭐ 15,594 Python 👤 andkret User 🕐 Atualizado 2026-10-16 📅 Criado 2019-03-10
13
semantica-agi/semantica

Camada semântica nativa de grafos para uma IA empresarial confiável

semantica-agi
⭐ 14,701 Python 👤 semantica-agi Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-06-25
14
fivetran/great_expectations

Saiba sempre o que esperar dos seus dados.

fivetran
⭐ 11,941 Python 👤 fivetran Organization 🕐 Atualizado 2026-11-17 📅 Criado 2017-09-11
15
cocoindex-io/cocoindex

Motor incremental para agentes de horizonte longo 🌟 Dê uma estrela se gostar!

cocoindex-io
⭐ 11,923 Rust 👤 cocoindex-io Organization 🕐 Atualizado 2026-11-21 📅 Criado 2025-03-03
16
xonsh/xonsh

🐚 Shell alimentado por Python. Completamente funcional, multiplataforma e amigável à IA.

xonsh
⭐ 9,704 Python 👤 xonsh Organization 🕐 Atualizado 2026-11-16 📅 Criado 2015-01-21
17
risingwavelabs/risingwave

Plataforma de streaming de eventos para IA agentiva. Ingestão, transformação e fornecimento contínuos de fluxos de eventos em tempo real, em escala.

risingwavelabs
⭐ 9,425 Rust 👤 risingwavelabs Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-01-28
18
mage-ai/mage-ai

🧙 Construa, execute e gerencie pipelines de dados para integrar e transformar dados.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-05-16
19
redpanda-data/connect

Processamento de fluxo sofisticado tornou a operação mundana

redpanda-data
⭐ 8,804 Go 👤 redpanda-data Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-03-22
20
growthbook/growthbook

Flags de recursos de código aberto, experimentação e análise de produto

growthbook
⭐ 8,639 TypeScript 👤 growthbook Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-05-07
21
Zipstack/unstract

Extração de Dados Não Estruturados Impulsionada por LLM — Desenvolvida para Implantações de API e Fluxos de Trabalho de ETL

Zipstack
⭐ 7,462 Python 👤 Zipstack Organization 🕐 Atualizado 2026-11-20 📅 Criado 2024-02-21
22
feast-dev/feast

O Repositório de Funcionalidades de Código Aberto para IA/ML

feast-dev
⭐ 7,362 Python 👤 feast-dev Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-12-10
23
evidence-dev/evidence

Inteligência de negócios como código: crie visualizações de dados rápidas e interativas em SQL e markdown

evidence-dev
⭐ 7,140 TypeScript 👤 evidence-dev Organization 🕐 Atualizado 2026-11-20 📅 Criado 2021-05-27
24
cloudquery/cloudquery

Pipelines de dados para configuração de nuvem e dados de segurança. Crie soluções de inventário de ativos em nuvem, CSPM, FinOps e gerenciamento de vulnerabilidades. Extraia dados da AWS, Azure, GCP e mais de 70 fontes de nuvem e SaaS.

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-11-18
25
dlt-hub/dlt

data load tool (dlt) é uma biblioteca Python de código aberto que facilita o carregamento de dados 🛠️

dlt-hub
⭐ 6,115 Python 👤 dlt-hub Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-01-26
26
WeiYe-Jing/datax-web

Página de integração visual do DataX, selecione a fonte de dados para gerar uma tarefa de sincronização de dados com um clique, suporta fontes de dados como RDBMS, Hive, HBase, ClickHouse, MongoDB, etc., cria tarefas de sincronização de dados RDBMS em lote, integra sistema de agendamento de código aberto, suporta sincronização de dados distribuída e incremental, visualização em tempo real dos logs de execução, monitoramento de recursos do executor, processos de execução KILL, criptografia de informações da fonte de dados e muito mais.

WeiYe-Jing
⭐ 5,958 Java 👤 WeiYe-Jing User 🕐 Atualizado 2024-06-02 📅 Criado 2019-11-19
27
Eventual-Inc/Daft

Mecanismo de dados de alto desempenho para cargas de trabalho de IA e multimodais. Processe imagens, áudio, vídeo e dados estruturados em qualquer escala.

Eventual-Inc
⭐ 5,858 Rust 👤 Eventual-Inc Organization 🕐 Atualizado 2026-11-09 📅 Criado 2022-04-25
28
treeverse/lakeFS

lakeFS - Controle de versão de dados para o seu data lake | Git para dados

treeverse
⭐ 5,590 Go 👤 treeverse Organization 🕐 Atualizado 2026-11-19 📅 Criado 2019-09-12
29
chiphuyen/dmls-book

Resumos e recursos para o livro Designing Machine Learning Systems (Chip Huyen, O'Reilly 2022)

chiphuyen
⭐ 5,481 👤 chiphuyen User 🕐 Atualizado 2026-06-09 📅 Criado 2022-05-27
30
ruc-datalab/DeepAnalyze

DeepAnalyze é o primeiro LLM agêntico para ciência de dados autônoma. 🎈 Seu analista de dados de IA que analisa automaticamente grandes volumes de dados e gera relatórios de análise profissionais com apenas um clique!

ruc-datalab
⭐ 4,833 Python 👤 ruc-datalab Organization 🕐 Atualizado 2026-11-02 📅 Criado 2025-10-11
31
rudderlabs/rudder-server

Segmento focado em privacidade e segurança - alternativa, em Golang e React

rudderlabs
⭐ 4,520 Go 👤 rudderlabs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-07-19
32
Moataz-Elmesmary/Data-Science-Roadmap

Roteiro de Ciência de Dados de A a Z

Moataz-Elmesmary
⭐ 4,429 👤 Moataz-Elmesmary User 🕐 Atualizado 2025-12-06 📅 Criado 2022-04-17
33
whoiskatrin/sql-translator

O Tradutor SQL é uma ferramenta para converter consultas em linguagem natural em código SQL usando inteligência artificial. Este projeto é 100% gratuito e de código aberto.

whoiskatrin
⭐ 4,315 TypeScript 👤 whoiskatrin User 🕐 Atualizado 2025-07-06 📅 Criado 2023-03-11
34
aws/aws-sdk-pandas

pandas on AWS - Integração fácil com Athena, Glue, Redshift, Timestream, Neptune, OpenSearch, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer e S3 (Parquet, CSV, JSON e EXCEL).

aws
⭐ 4,124 Python 👤 aws Organization 🕐 Atualizado 2026-11-21 📅 Criado 2019-02-26
35
adilkhash/Data-Engineering-HowTo

Uma lista de recursos úteis para aprender Engenharia de Dados do zero

adilkhash
⭐ 4,049 👤 adilkhash User 🕐 Atualizado 2026-10-30 📅 Criado 2019-03-28
36
knownsec/aipyapp

Python Potencializado por IA e IA Potencializada por Python (Uso do Python)

knownsec
⭐ 4,026 HTML 👤 knownsec Organization 🕐 Atualizado 2026-02-15 📅 Criado 2025-04-06
37
quadratichq/quadratic

Planilha com IA, Código, Conexões

quadratichq
⭐ 3,958 Rust 👤 quadratichq Organization 🕐 Atualizado 2026-03-07 📅 Criado 2021-11-11
38
camelot-dev/camelot

Uma biblioteca Python para extrair dados tabulares de PDFs

camelot-dev
⭐ 3,858 Python 👤 camelot-dev Organization 🕐 Atualizado 2026-11-21 📅 Criado 2019-07-01
39
Netflix/maestro

Maestro: O Orquestrador de Fluxos de Trabalho da Netflix

Netflix
⭐ 3,852 Java 👤 Netflix Organization 🕐 Atualizado 2026-11-06 📅 Criado 2024-04-17
40
dathere/qsv

Kit de ferramentas neuro-simbólico ultrarrápido para manipulação de dados

dathere
⭐ 3,836 Rust 👤 dathere Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-12-11
41
moabukar/tech-vault

Uma lista de muitas perguntas de entrevista e desafios do mundo real em Tecnologia! (https://tech-vault-web.vercel.app/)

moabukar
⭐ 3,599 HCL 👤 moabukar User 🕐 Atualizado 2026-03-01 📅 Criado 2023-03-27
42
lakehq/sail

Substituição drop-in do Apache Spark escrita em Rust, unificando processamento em lotes, processamento de stream e cargas de trabalho de IA intensivas em computação.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-21
43
superstreamlabs/memphis

Memphis.dev é uma plataforma de streaming de dados altamente escalável e sem esforço.

superstreamlabs
⭐ 3,442 Go 👤 superstreamlabs Organization 🕐 Atualizado 2026-03-02 📅 Criado 2022-02-01
44
GokuMohandas/mlops-course

Aprenda a projetar, desenvolver, implantar e iterar em aplicações de ML de nível de produção.

GokuMohandas
⭐ 3,272 Jupyter Notebook 👤 GokuMohandas User 🕐 Atualizado 2024-08-16 📅 Criado 2020-11-12
45
apache/devlake

Apache DevLake é uma plataforma de dados de desenvolvimento de código aberto para ingerir, analisar e visualizar dados fragmentados de ferramentas DevOps, extraindo insights para excelência de engenharia, experiência do desenvolvedor e crescimento da comunidade.

apache
⭐ 3,204 Go 👤 apache Organization 🕐 Atualizado 2026-11-19 📅 Criado 2021-07-08
46
itsdecodingai/second-brain-ai-assistant-course

Aprenda a construir seu assistente de IA de Segundo Cérebro com LLMs, agentes, RAG, fine-tuning, LLMOps e técnicas de sistemas de IA.

itsdecodingai
⭐ 3,138 Jupyter Notebook 👤 itsdecodingai Organization 🕐 Atualizado 2026-04-06 📅 Criado 2024-12-30
47
Zleap-AI/SAG

Um novo SOTA para RAG — uma arquitetura de recuperação original e uma base de conhecimento de código aberto para humanos e agentes.

Zleap-AI
⭐ 3,004 Python 👤 Zleap-AI Organization 🕐 Atualizado 2026-11-13 📅 Criado 2025-11-07
48
gunnarmorling/awesome-opensource-data-engineering

Uma Lista Fantástica de Projetos de Engenharia de Dados de Código Aberto

gunnarmorling
⭐ 2,946 👤 gunnarmorling User 🕐 Atualizado 2024-10-04 📅 Criado 2020-02-11
49
danielbeach/data-engineering-practice

Problemas Práticos de Engenharia de Dados

danielbeach
⭐ 2,706 Python 👤 danielbeach User 🕐 Atualizado 2025-01-08 📅 Criado 2022-02-17
50
meltano/meltano

Meltano: o motor de integração de dados declarativo e code-first que impulsiona suas ideias mais ousadas de produtos baseados em dados e ML. Diga adeus à escrita, manutenção e dimensionamento de suas próprias integrações de API.

meltano
⭐ 2,683 Python 👤 meltano Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-06-21

Perguntas Frequentes

1

Qual é o repositório de #data-engineering mais popular no GitHub?

O projeto de código aberto de #data-engineering mais bem classificado no GitHub é apache/superset, com 75,603 estrelas. Apache Superset é uma Plataforma de Visualização e Exploração de Dados

2

Quais linguagens de programação são mais usadas nos repositórios de #data-engineering?

Entre os projetos de #data-engineering mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Go, Rust, Jupyter Notebook.

3

Como é calculada a classificação dos repositórios de #data-engineering?

Acompanhamos 152 repositórios ativos de código aberto marcados com #data-engineering (com mais de 500 estrelas), totalizando 727,632 estrelas e uma média de 4,787 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.