Git Stars Git Stars

#data-engineering Repositórios

152
Total de Repositórios
727,632
Total de estrelas
4,787
Média de Estrelas/Repositório

152 repositórios no total

101
latitude-dev/latitude

Análise incorporada focada no desenvolvedor

latitude-dev
⭐ 949 TypeScript 👤 latitude-dev Organization 🕐 Atualizado 2024-09-30 📅 Criado 2024-01-31
102
youssefHosni/Awesome-AI-Data-GitHub-Repos

Uma coleção dos repositórios Github mais importantes para profissionais de ML, IA e ciência de dados

youssefHosni
⭐ 946 👤 youssefHosni User 🕐 Atualizado 2024-12-24 📅 Criado 2023-05-09
103
odpi/egeria

A plataforma central do Project Egeria oferece suporte a Open Metadata e Governance. Inclui um sistema de tipos aberto, um grafo de conhecimento distribuído, APIs REST, governança inteligente e conteúdo pré-criado.

odpi
⭐ 925 Java 👤 odpi Organization 🕐 Atualizado 2026-11-18 📅 Criado 2018-05-31
104
natayadev/dataengineering-roadmap

Mais um repositório com conceitos básicos, desafios técnicos e recursos sobre engenharia de dados em espanhol 🧙✨

natayadev
⭐ 919 👤 natayadev User 🕐 Atualizado 2026-02-28 📅 Criado 2023-11-24
105
luisguiserrano/manning

Repositório para o livro Grokking Machine Learning, por Manning Editors

luisguiserrano
⭐ 917 Jupyter Notebook 👤 luisguiserrano User 🕐 Atualizado 2026-11-02 📅 Criado 2019-03-25
106
pyspark-ai/pyspark-ai

SDK de Inglês para Apache Spark

pyspark-ai
⭐ 879 Python 👤 pyspark-ai Organization 🕐 Atualizado 2026-10-27 📅 Criado 2023-04-27
107
bacalhau-project/bacalhau

Estrutura simples, mas poderosa, impulsionada pela comunidade, para Computação Distribuída sobre Dados rápida e com bom custo-benefício.

bacalhau-project
⭐ 878 Go 👤 bacalhau-project Organization 🕐 Atualizado 2026-11-19 📅 Criado 2021-11-05
108
CloudWise-OpenSource/FlyFish

FlyFish é uma plataforma de codificação de visualização de dados. Podemos criar um modelo de dados rapidamente de forma simples e gerar rapidamente um conjunto de soluções de visualização de dados arrastando.

CloudWise-OpenSource
⭐ 877 JavaScript 👤 CloudWise-OpenSource Organization 🕐 Atualizado 2024-06-11 📅 Criado 2021-10-08
109
flow-php/flow

O framework de processamento de dados mais avançado que permite construir pipelines de processamento de dados escaláveis e mover dados entre várias fontes e destinos de dados.

flow-php
⭐ 875 PHP 👤 flow-php Organization 🕐 Atualizado 2026-11-20 📅 Criado 2021-05-23
110
NeumTry/NeumAI

Neum AI é um framework de ponta para gerenciar a criação e sincronização de embeddings vetoriais em grande escala.

NeumTry
⭐ 864 Python 👤 NeumTry Organization 🕐 Atualizado 2024-01-15 📅 Criado 2023-09-14
111
frictionlessdata/frictionless-py

Estrutura de gerenciamento de dados para Python que fornece funcionalidades para descrever, extrair, validar e transformar dados tabulares

frictionlessdata
⭐ 859 Python 👤 frictionlessdata Organization 🕐 Atualizado 2026-10-15 📅 Criado 2014-12-23
112
zoltanctoth/complete-dbt-bootcamp-zero-to-hero

Materiais Suplementares para o curso The Complete dbt (Data Build Tool) Bootcamp da Udemy

zoltanctoth
⭐ 842 Python 👤 zoltanctoth User 🕐 Atualizado 2026-10-05 📅 Criado 2022-02-24
113
ssp-data/practical-data-engineering

Engenharia de Dados Prática: Um Guia de Projeto Imobiliário Mãos à Obra

ssp-data
⭐ 833 Jupyter Notebook 👤 ssp-data Organization 🕐 Atualizado 2026-06-25 📅 Criado 2020-11-18
114
AltimateAI/altimate-code

Harness de engenharia de dados agentic de código aberto para dbt, SQL e armazéns de dados em nuvem. Mais de 100 ferramentas, 10 armazéns, com IA.

AltimateAI
⭐ 822 TypeScript 👤 AltimateAI Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-02-27
115
Nike-Inc/koheesio

Framework Python para a construção de pipelines de dados eficientes. Promove a modularidade e a colaboração, permitindo a criação de pipelines complexos a partir de componentes simples e reutilizáveis.

Nike-Inc
⭐ 818 Python 👤 Nike-Inc Organization 🕐 Atualizado 2026-10-17 📅 Criado 2024-05-06
116
astronomer/airflow-guides

Guias e documentação para ajudá-lo a começar a usar o Apache Airflow.

astronomer
⭐ 816 JavaScript 👤 astronomer Organization 🕐 Atualizado 2025-11-15 📅 Criado 2018-05-17
117
BasPH/data-pipelines-with-apache-airflow

Código para Pipelines de Dados com Apache Airflow

BasPH
⭐ 810 Python 👤 BasPH User 🕐 Atualizado 2024-08-15 📅 Criado 2019-06-10
118
liuhuanyong/ChainKnowledgeGraph

ChainKnowledgeGraph, o grafo de conhecimento da cadeia industrial inclui entidades de 3 tipos: empresas listadas A-shares, setores e produtos, incluindo relações setoriais de empresas listadas, relações setoriais superiores, relações de matérias-primas a montante de produtos, relações de produtos a jusante, principais produtos da empresa e subcategorias de produtos, um total de 6 categorias principais. Empresas listadas: 4.654, setores: 511, produtos: 95.559, matérias-primas a montante: 56.824, setores superiores: 480, produtos a jusante: 390, subcategorias de produtos: 52.937, setores de pertencimento: 3.946.

liuhuanyong
⭐ 779 Python 👤 liuhuanyong User 🕐 Atualizado 2025-12-22 📅 Criado 2021-10-26
119
microsoft/sqlworkshops

Workshops do SQL Server

microsoft
⭐ 777 Jupyter Notebook 👤 microsoft Organization 🕐 Atualizado 2024-05-14 📅 Criado 2019-02-05
120
datavane/datavines

Conheça melhor os seus dados! A Datavines é a Plataforma de Observabilidade de Dados de Próxima Geração, com suporte a gerenciamento de metadados e qualidade de dados.

datavane
⭐ 769 Java 👤 datavane Organization 🕐 Atualizado 2026-07-27 📅 Criado 2022-04-02
121
derar-alhussein/Databricks-Certified-Data-Engineer-Associate

Os recursos do curso de preparação para o exame de certificação Databricks Data Engineer Associate

derar-alhussein
⭐ 762 Python 👤 derar-alhussein User 🕐 Atualizado 2026-11-12 📅 Criado 2022-11-06
122
unytics/bigfunctions

Turbine o BigQuery com BigFunctions

unytics
⭐ 761 Python 👤 unytics User 🕐 Atualizado 2026-08-23 📅 Criado 2022-08-24
123
defog-ai/sql-eval

Avaliar a precisão das saídas geradas por LLM

defog-ai
⭐ 744 Jupyter Notebook 👤 defog-ai Organization 🕐 Atualizado 2025-08-14 📅 Criado 2023-08-10
124
kennethleungty/Failed-ML

Compilação de exemplos notórios do mundo real de projetos de aprendizado de máquina fracassados

kennethleungty
⭐ 743 👤 kennethleungty User 🕐 Atualizado 2024-06-14 📅 Criado 2022-08-15
125
DataExpert-io/cumulative-table-design

Este repositório ajuda a ensinar as pessoas a como definir e criar tabelas cumulativas corretamente!

DataExpert-io
⭐ 741 Python 👤 DataExpert-io Organization 🕐 Atualizado 2024-10-29 📅 Criado 2021-12-30
126
databricks/devrel

Este repositório contém os notebooks e as apresentações que usamos para nossos Databricks Tech Talks

databricks
⭐ 734 HTML 👤 databricks Organization 🕐 Atualizado 2025-01-06 📅 Criado 2020-04-03
127
awslabs/aws-glue-libs

As AWS Glue Libraries são adições e melhorias ao Spark para operações de ETL.

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 Atualizado 2026-10-30 📅 Criado 2017-08-11
128
dgarnitz/vectorflow

VectorFlow é um pipeline de incorporação de vetores de alto volume que ingere dados brutos, os transforma em vetores e os grava em um banco de dados vetorial de sua escolha.

dgarnitz
⭐ 698 Python 👤 dgarnitz User 🕐 Atualizado 2024-05-16 📅 Criado 2023-07-25
129
risesoft-y9/DataFlow-Engine

O Motor de Fluxo de Dados é um motor de dados subjacente e orientado a dados, projetado para integração de dados, sincronização de dados, troca de dados, partilha de dados, configuração de tarefas e agendamento de tarefas. Para lidar com problemas de dados reais, como tarefas de dados em larga escala, relatórios de dados de alta frequência, coleta de dados de alta frequência e compatibilidade de dados heterogêneos, o Motor de Fluxo de Dados emprega sistemas como a separação de controle e execução, múltiplas camadas de fluxo e bibliotecas de plugins.

risesoft-y9
⭐ 697 Java 👤 risesoft-y9 Organization 🕐 Atualizado 2026-11-12 📅 Criado 2024-08-26
130
petedannemann/gis-programming-roadmap

Loja completa para todas as suas necessidades de programação GIS

petedannemann
⭐ 686 👤 petedannemann User 🕐 Atualizado 2024-01-02 📅 Criado 2019-01-11
131
kaushiksrini/parqeye

Dê uma olhada nos arquivos Parquet diretamente do seu terminal

kaushiksrini
⭐ 682 Rust 👤 kaushiksrini User 🕐 Atualizado 2026-11-12 📅 Criado 2025-07-02
132
databricks/reference-apps

Aplicações de referência do Spark

databricks
⭐ 652 Scala 👤 databricks Organization 🕐 Atualizado 2024-10-03 📅 Criado 2014-08-19
133
JakobGM/patito

Uma camada de modelagem de dados construída sobre polars e pydantic

JakobGM
⭐ 643 Python 👤 JakobGM User 🕐 Atualizado 2026-05-08 📅 Criado 2023-06-21
134
rpbouman/huey

Análise de dados e BI no navegador com DuckDB-WASM. Privacidade em primeiro lugar: seus dados permanecem localmente; não é necessário nenhum servidor.

rpbouman
⭐ 639 JavaScript 👤 rpbouman User 🕐 Atualizado 2026-11-13 📅 Criado 2023-12-25
135
google/patents-public-data

Análise de patentes usando os Conjuntos de Dados Públicos do Google Patents no BigQuery

google
⭐ 637 Jupyter Notebook 👤 google Organization 🕐 Atualizado 2024-06-17 📅 Criado 2017-06-05
136
dbt-labs/dbt-mcp

Um servidor MCP (Model Context Protocol) para interagir com dbt.

dbt-labs
⭐ 624 Python 👤 dbt-labs Organization 🕐 Atualizado 2026-11-18 📅 Criado 2025-03-12
137
ConduitIO/conduit

Conduit transmite dados entre armazenamentos de dados. Substituição do Kafka Connect. Não é necessária JVM.

ConduitIO
⭐ 617 Go 👤 ConduitIO Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-01-11
138
synmetrix/synmetrix

Synmetrix – camada semântica de código aberto pronta para produção no Cube

synmetrix
⭐ 616 JavaScript 👤 synmetrix Organization 🕐 Atualizado 2025-02-07 📅 Criado 2021-06-18
139
insitro/redun

Mais um motor de fluxo de trabalho redundante

insitro
⭐ 610 Python 👤 insitro Organization 🕐 Atualizado 2026-11-18 📅 Criado 2021-11-04
140
matsonj/nba-monte-carlo

Simulação Monte Carlo da temporada da NBA, utilizando dbt, duckdb e evidence.dev

matsonj
⭐ 609 Python 👤 matsonj User 🕐 Atualizado 2026-11-12 📅 Criado 2022-09-29
141
apecloud/myduckserver

Unifica servidores MySQL, Postgres e FlightSQL, potencializado por DuckDB.

apecloud
⭐ 595 Go 👤 apecloud Organization 🕐 Atualizado 2026-09-19 📅 Criado 2024-08-22
142
argilla-io/synthetic-data-generator

Crie conjuntos de dados usando linguagem natural

argilla-io
⭐ 590 Python 👤 argilla-io Organization 🕐 Atualizado 2025-09-19 📅 Criado 2024-11-21
143
singer-io/singer-python

Escreve o formato Singer em Python

singer-io
⭐ 585 Python 👤 singer-io Organization 🕐 Atualizado 2026-11-02 📅 Criado 2016-10-28
144
taz4et/bitcoin-etl

Um kit de ferramentas Python para extrair e transformar dados da blockchain Bitcoin em formatos estruturados.

taz4et
⭐ 580 Python 👤 taz4et User 🕐 Atualizado 2025-11-24 📅 Criado 2025-11-14
145
spark-examples/spark-scala-examples

Este projeto fornece exemplos de Apache Spark SQL, RDD, DataFrame e Dataset na linguagem Scala

spark-examples
⭐ 567 Scala 👤 spark-examples Organization 🕐 Atualizado 2024-03-20 📅 Criado 2019-11-26
146
pracdata/awesome-open-source-data-engineering

Lista curada de ferramentas de código aberto usadas em plataformas de análise e ecossistema de engenharia de dados

pracdata
⭐ 564 👤 pracdata Organization 🕐 Atualizado 2025-03-12 📅 Criado 2024-02-22
147
GoogleCloudPlatform/bigquery-oreilly-book

Código-fonte que acompanha: BigQuery: The Definitive Guide por Lakshmanan & Tigani a ser publicado pela O'Reilly Media

GoogleCloudPlatform
⭐ 547 Jupyter Notebook 👤 GoogleCloudPlatform Organization 🕐 Atualizado 2024-05-02 📅 Criado 2018-11-26
148
kimtth/software-architect-mindmap

🧠 Mapa mental de 🗺️ arquitetura de software e engenharia de software

kimtth
⭐ 543 Python 👤 kimtth User 🕐 Atualizado 2026-11-20 📅 Criado 2022-02-02
149
kvakvs/beam-wisdoms

Wiki contendo pedaços de informação e conhecimento sobre a Máquina Virtual BEAM (que executa Erlang/OTP e outras linguagens baseadas em BEAM).

kvakvs
⭐ 539 👤 kvakvs User 🕐 Atualizado 2024-06-10 📅 Criado 2016-08-27
150
silver-dev-org/interview-ready

Um repositório para prática de entrevistas.

silver-dev-org
⭐ 529 TypeScript 👤 silver-dev-org Organization 🕐 Atualizado 2026-02-05 📅 Criado 2023-08-22