Git Stars Git Stars

#data-engineering Repositórios

152
Total de Repositórios
727,632
Total de estrelas
4,787
Média de Estrelas/Repositório

152 repositórios no total

51
apache/hamilton

O Apache Hamilton ajuda cientistas e engenheiros de dados a definir fluxos de dados testáveis, modulares e autodocumentáveis, que codificam linhagem/rastreamento e metadados. Ele executa e escala em qualquer lugar onde o Python também funcione.

apache
⭐ 2,631 Jupyter Notebook 👤 apache Organization 🕐 Atualizado 2026-11-16 📅 Criado 2023-02-23
52
sodadata/soda-core

Motor de Contratos de Dados para a pilha de dados moderna. https://www.soda.io

sodadata
⭐ 2,463 Python 👤 sodadata Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-12-14
53
metarank/metarank

Um serviço de ranqueamento personalizado de Machine Learning (ML) com low code para artigos, listagens, resultados de pesquisa e recomendações, que impulsiona o engajamento do usuário. Um motor Learn-to-Rank amigável.

metarank
⭐ 2,461 Scala 👤 metarank Organization 🕐 Atualizado 2026-10-06 📅 Criado 2020-08-19
54
running-elephant/datart

Datart é uma Plataforma Aberta de Visualização de Dados de próxima geração

running-elephant
⭐ 2,288 TypeScript 👤 running-elephant Organization 🕐 Atualizado 2025-02-10 📅 Criado 2021-10-15
55
bytewax/bytewax

Processamento de Fluxo Python

bytewax
⭐ 2,074 Python 👤 bytewax Organization 🕐 Atualizado 2026-11-13 📅 Criado 2022-02-04
56
data-engineering-community/data-engineering-wiki

O melhor lugar para aprender engenharia de dados. Construído e mantido pela comunidade de engenharia de dados.

data-engineering-community
⭐ 2,067 CSS 👤 data-engineering-community Organization 🕐 Atualizado 2026-09-15 📅 Criado 2021-05-04
57
getnao/nao

👾 nao é a solução nº 1 de BI agêntica de código aberto. (1) Crie contexto com a CLI nao-core; (2) implemente a interface de chat nao para todos.

getnao
⭐ 2,034 TypeScript 👤 getnao Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-12-30
58
Datus-ai/Datus-agent

O futuro da engenharia de dados — um cliente SQL de CLI para a pilha de dados moderna, que possibilita uma engenharia de contexto nativa de IA para dados.

Datus-ai
⭐ 1,932 Python 👤 Datus-ai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-07-04
59
feathr-ai/feathr

Feathr – Uma plataforma unificada e escalável de engenharia de dados e IA para empresas

feathr-ai
⭐ 1,916 Scala 👤 feathr-ai Organization 🕐 Atualizado 2024-04-04 📅 Criado 2022-02-18
60
dbt-labs/dbt-utils

Funções utilitárias para projetos dbt.

dbt-labs
⭐ 1,837 Makefile 👤 dbt-labs Organization 🕐 Atualizado 2026-11-21 📅 Criado 2017-07-16
61
kiwenlau/hadoop-cluster-docker

Executar o Cluster Hadoop em Contêineres Docker

kiwenlau
⭐ 1,827 Shell 👤 kiwenlau User 🕐 Atualizado 2024-07-01 📅 Criado 2015-05-21
62
OBenner/data-engineering-interview-questions

Mais de 2000+ perguntas de entrevista para Engenheiros de Dados.

OBenner
⭐ 1,815 Python 👤 OBenner User 🕐 Atualizado 2026-01-13 📅 Criado 2021-08-08
63
Hiflylabs/awesome-dbt

Uma lista selecionada de recursos incríveis do dbt

Hiflylabs
⭐ 1,754 👤 Hiflylabs Organization 🕐 Atualizado 2026-11-17 📅 Criado 2021-10-09
64
benthecoder/yt-channels-DS-AI-ML-CS

Uma lista abrangente de mais de 180 canais do YouTube para Ciência de Dados, Engenharia de Dados, Aprendizado de Máquina, Aprendizado Profundo, Ciência da Computação, programação, engenharia de software, etc.

benthecoder
⭐ 1,732 👤 benthecoder User 🕐 Atualizado 2026-07-19 📅 Criado 2021-06-14
65
DataWithBaraa/sql-ultimate-course

Os materiais do curso gratuito de SQL de 30 horas: os bancos de dados para SQL Server, MySQL e PostgreSQL, todas as consultas dos 41 capítulos e os slides.

DataWithBaraa
⭐ 1,711 TSQL 👤 DataWithBaraa User 🕐 Atualizado 2026-11-06 📅 Criado 2025-03-18
66
mlrun/mlrun

MLRun é uma plataforma MLOps de código aberto para construir e gerenciar rapidamente aplicações de ML contínuas em todo o seu ciclo de vida. O MLRun integra-se ao seu ambiente de desenvolvimento e CI/CD e automatiza a entrega de dados de produção, pipelines de ML e aplicações online.

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 Atualizado 2026-11-20 📅 Criado 2019-09-01
67
Multiwoven/multiwoven

🔥🔥🔥 Reverse ETL de código aberto - alternativa ao hightouch e census.

Multiwoven
⭐ 1,685 Ruby 👤 Multiwoven Organization 🕐 Atualizado 2026-11-18 📅 Criado 2023-10-20
68
Kaelio/ktx

ktx é uma camada de contexto executável para agentes de dados e análise 🐙 Permita que Claude Code, Codex ou outros agentes de IA consultem bancos de dados analíticos com precisão e com o contexto completo da sua empresa

Kaelio
⭐ 1,633 TypeScript 👤 Kaelio Organization 🕐 Atualizado 2026-11-18 📅 Criado 2026-05-10
69
kantord/just-dashboard

:bar_chart: :clipboard: Painéis usando arquivos YAML ou JSON

kantord
⭐ 1,587 TypeScript 👤 kantord User 🕐 Atualizado 2026-02-21 📅 Criado 2018-01-18
70
quixio/quix-streams

DataFrames de Streaming Python para Kafka

quixio
⭐ 1,582 Python 👤 quixio Organization 🕐 Atualizado 2026-11-18 📅 Criado 2022-11-17
71
JeffSackmann/tennis_atp

Classificação, Resultados e Estatísticas do Tênis ATP

JeffSackmann
⭐ 1,577 👤 JeffSackmann User 🕐 Atualizado 2026-06-08 📅 Criado 2015-03-13
72
chenditc/investment_data

Scripts e documentação para https://www.dolthub.com/repositories/chenditc/investment_data

chenditc
⭐ 1,571 Python 👤 chenditc User 🕐 Atualizado 2026-11-20 📅 Criado 2022-07-19
73
slothflowlabs/duckle

ETL/ELT de código aberto que você implanta nos seus próprios servidores ou na nuvem. Desenvolvido com base no DuckDB: pipelines visuais no-code/low-code ou SQL, 446 componentes, dbt, CDC, qualidade de dados, ETL reverso, linhagem e MCP para agentes de IA. Sem nuvem do fornecedor e sem cobrança por linha.

slothflowlabs
⭐ 1,558 Rust 👤 slothflowlabs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2026-05-21
74
duneanalytics/spellbook

Visualizações SQL para Dune

duneanalytics
⭐ 1,529 Python 👤 duneanalytics Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-01-31
75
pyper-dev/pyper

Python Concorrente Simplificado

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Atualizado 2025-02-04 📅 Criado 2024-05-22
76
pyjanitor-devs/pyjanitor

APIs limpas para limpeza de dados. Implementação em Python do pacote R Janitor

pyjanitor-devs
⭐ 1,500 Python 👤 pyjanitor-devs Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-03-04
77
ashishps1/awesome-engineering-articles

Uma coleção curada de mais de 300 artigos de blog de engenharia de empresas de tecnologia líderes. Aprenda como as melhores equipes de engenharia resolvem problemas do mundo real em escala.

ashishps1
⭐ 1,491 👤 ashishps1 User 🕐 Atualizado 2026-03-01 📅 Criado 2026-02-15
78
lvgalvao/data-engineering-roadmap

Formação Profissional em Engenharia de Dados e IA

lvgalvao
⭐ 1,451 Python 👤 lvgalvao User 🕐 Atualizado 2026-05-12 📅 Criado 2024-01-16
79
opendatadiscovery/odd-platform

Primeira plataforma open-source de descoberta e observabilidade de dados. Tornamos a vida dos profissionais de dados fácil para que você possa se concentrar em seus negócios.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 Atualizado 2026-10-19 📅 Criado 2021-07-07
80
GoogleCloudPlatform/data-science-on-gcp

Código-fonte que acompanha o livro: Ciência de Dados na Plataforma Google Cloud, Valliappa Lakshmanan, O'Reilly 2017

GoogleCloudPlatform
⭐ 1,432 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 Atualizado 2026-02-20 📅 Criado 2017-02-10
81
zapret-info/z-i

Registo de Endereços de Internet filtrado na Federação Russa

zapret-info
⭐ 1,388 👤 zapret-info User 🕐 Atualizado 2025-10-01 📅 Criado 2012-11-19
82
quiltdata/quilt

Quilt é uma Plataforma de Gerenciamento de Dados Científicos na AWS que ajuda equipes e IA a encontrar, confiar e reutilizar dados por meio de pacotes de dados profundamente versionados e ricos em contexto.

quiltdata
⭐ 1,373 TypeScript 👤 quiltdata Organization 🕐 Atualizado 2026-11-21 📅 Criado 2017-02-10
83
spark-examples/pyspark-examples

Exemplos de Pyspark RDD, DataFrame e Dataset na linguagem Python

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 Atualizado 2025-12-07 📅 Criado 2019-11-26
84
gtoonstra/etl-with-airflow

Práticas recomendadas de ETL com Airflow, com exemplos

gtoonstra
⭐ 1,353 Shell 👤 gtoonstra User 🕐 Atualizado 2024-09-25 📅 Criado 2016-10-16
85
Sniper970119/dianping_spider

Web Crawler (Rastreador) do Dianping (todo o site é rastreável, resolve a criptografia de fonte dinâmica, não é OCR). Atualização contínua

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 Atualizado 2026-11-03 📅 Criado 2021-01-22
86
Data-Learn/data-engineering

Primeiros passos em Engenharia de Dados

Data-Learn
⭐ 1,323 Python 👤 Data-Learn Organization 🕐 Atualizado 2025-04-20 📅 Criado 2020-05-14
87
bitol-io/open-data-contract-standard

Sede do Padrão de Contrato de Dados Abertos (ODCS).

bitol-io
⭐ 1,238 Shell 👤 bitol-io Organization 🕐 Atualizado 2026-11-17 📅 Criado 2023-06-27
88
abhishek-ch/around-dataengineering

Um Hub de Conhecimento em Engenharia de Dados e Machine Learning

abhishek-ch
⭐ 1,140 Python 👤 abhishek-ch User 🕐 Atualizado 2024-02-02 📅 Criado 2020-09-18
89
daochenzha/data-centric-AI

Uma lista selecionada, mas incompleta, de recursos de IA centrados em dados.

daochenzha
⭐ 1,138 👤 daochenzha User 🕐 Atualizado 2024-06-26 📅 Criado 2023-03-07
90
datacontract/datacontract-cli

Testes de contratos de dados de código aberto para Snowflake, Databricks, BigQuery, Kafka e mais 15 plataformas. Desenvolvidos com base no Open Data Contract Standard (ODCS). Licença MIT.

datacontract
⭐ 1,114 JavaScript 👤 datacontract Organization 🕐 Atualizado 2026-11-18 📅 Criado 2023-07-24
91
youngwookim/awesome-hadoop

Uma lista com curadoria de recursos surpreendentemente incríveis sobre Hadoop e o seu ecossistema

youngwookim
⭐ 1,113 👤 youngwookim User 🕐 Atualizado 2024-05-07 📅 Criado 2014-07-08
92
DataWithBaraa/sql-data-warehouse-project

Crie um data warehouse no SQL Server a partir de dois sistemas de origem, um CRM e um ERP, passando pelas camadas bronze, silver e gold. Arquivos e scripts do projeto completo gratuito.

DataWithBaraa
⭐ 1,089 TSQL 👤 DataWithBaraa User 🕐 Atualizado 2026-11-06 📅 Criado 2024-12-30
93
JohnSnowLabs/spark-nlp-workshop

Exemplos executáveis públicos do uso do NLP da John Snow Labs para Apache Spark.

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 Atualizado 2026-11-17 📅 Criado 2018-08-20
94
mattm/sql-style-guide

Um guia opinativo para escrever SQL limpo e de fácil manutenção.

mattm
⭐ 1,088 👤 mattm User 🕐 Atualizado 2025-01-14 📅 Criado 2019-03-27
95
nijikokun/generate-schema

🧞 Converta Objetos JSON para MySQL, JSON Schema, Mongoose, Google BigQuery, Swagger e mais.

nijikokun
⭐ 1,067 JavaScript 👤 nijikokun User 🕐 Atualizado 2024-01-30 📅 Criado 2015-02-16
96
opendatadiscovery/awesome-data-catalogs

📙 Catálogos de Dados e Plataformas de Observabilidade Incríveis.

opendatadiscovery
⭐ 1,059 👤 opendatadiscovery Organization 🕐 Atualizado 2025-08-14 📅 Criado 2021-07-14
97
DataTalksClub/stock-markets-analytics-zoomcamp

Materiais do Curso para Análise em Mercados de Ações Zoomcamp

DataTalksClub
⭐ 1,052 Jupyter Notebook 👤 DataTalksClub Organization 🕐 Atualizado 2026-10-30 📅 Criado 2024-02-14
99
dataform-co/dataform

Dataform é uma estrutura para gerenciar operações de dados baseadas em SQL no BigQuery

dataform-co
⭐ 998 TypeScript 👤 dataform-co Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-09-03
100
estuary/flow

🌊 Sincronize continuamente os sistemas onde seus dados residem com os sistemas onde você _deseja_ que eles residam, gerenciando seus fluxos de dados com o Estuary. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-02-13