Git Stars Git Stars

#bigdata Repositórios

Descubra 51 repositórios ativos de código aberto no GitHub marcados com #bigdata, acumulando um total de 261,861 estrelas (uma média de 5,134 por projeto). O líder deste tópico é DataExpert-io/data-engineer-handbook, com 45,237 estrelas.

51
Total de Repositórios
261,861
Total de estrelas
5,134
Média de Estrelas/Repositório

51 repositórios no total

1
DataExpert-io/data-engineer-handbook

Este é um repositório com links para tudo o que você gostaria de aprender sobre engenharia de dados

DataExpert-io
⭐ 45,237 Jupyter Notebook 👤 DataExpert-io Organization 🕐 Atualizado 2026-08-03 📅 Criado 2023-11-19
2
rustfs/rustfs

RustFS é um sistema de armazenamento de objetos de alto desempenho, de código aberto e compatível com S3, que oferece suporte à migração e à coexistência com outras plataformas compatíveis com S3, como MinIO e Ceph.

rustfs
⭐ 36,341 Rust 👤 rustfs Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-11-23
3
taosdata/TDengine

Banco de dados de série temporal de alto desempenho e escalável, projetado para cenários de IoT Industrial (IIoT)

taosdata
⭐ 25,203 C 👤 taosdata Organization 🕐 Atualizado 2026-11-15 📅 Criado 2019-07-11
4
apache/shardingsphere

Capacitando a Inteligência de Dados com SQL Distribuído para Fragmentação, Escalabilidade e Segurança em Todos os Bancos de Dados.

apache
⭐ 20,832 Java 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-01-18
5
heibaiying/BigData-Notes

Guia de Introdução a Big Data :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 Atualizado 2024-01-05 📅 Criado 2019-03-10
6
juicedata/juicefs

JuiceFS é um sistema de arquivos POSIX distribuído construído sobre Redis e S3.

juicedata
⭐ 14,766 Go 👤 juicedata Organization 🕐 Atualizado 2026-11-20 📅 Criado 2021-01-08
7
oxnr/awesome-bigdata

Uma lista selecionada de frameworks, recursos e outras coisas incríveis de big data.

oxnr
⭐ 14,744 👤 oxnr User 🕐 Atualizado 2026-11-13 📅 Criado 2014-07-04
8
databendlabs/databend

Data Agent Ready Warehouse: Um para Analytics, Busca, IA, Sandbox Python. — reconstruído do zero. Arquitetura unificada no seu S3.

databendlabs
⭐ 9,502 Rust 👤 databendlabs Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-10-10
9
vaexio/vaex

DataFrame híbrido Apache Arrow/NumPy com suporte 'out-of-core' para Python, ML, visualização e exploração de grandes dados tabulares, processando um bilhão de linhas por segundo 🚀

vaexio
⭐ 8,518 Python 👤 vaexio Organization 🕐 Atualizado 2026-11-06 📅 Criado 2014-09-27
10
apache/hudi

Upserts, Exclusões e Processamento Incremental em Big Data.

apache
⭐ 6,387 Java 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-12-14
11
volcano-sh/volcano

Um Sistema de Lote Nativo da Nuvem (Projeto sob a CNCF)

volcano-sh
⭐ 6,106 Go 👤 volcano-sh Organization 🕐 Atualizado 2026-11-19 📅 Criado 2019-03-14
12
iGaoWei/BigDataView

Mais de 100 conjuntos de templates Html5 de tela grande e visualização de Big Data visualmente impressionantes; abrangendo setores como: comunidade, gestão de propriedades, assuntos governamentais, transporte, finanças/bancos, etc. São os templates de visualização de Big Data mais recentes, mais numerosos, mais completos, mais fixes e mais espetaculares de toda a rede. Atualizações em andamento.

iGaoWei
⭐ 5,352 JavaScript 👤 iGaoWei User 🕐 Atualizado 2025-10-24 📅 Criado 2021-07-29
13
DTStack/chunjun

Um framework de integração de dados

DTStack
⭐ 4,107 Java 👤 DTStack Organization 🕐 Atualizado 2026-10-09 📅 Criado 2018-04-03
14
liyupi/sql-generator

🔨 Gere instruções SQL estruturadas usando JSON, implementado com Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. O projeto é simples (foco na lógica, poucas páginas) e ideal para prática!

liyupi
⭐ 3,455 Vue 👤 liyupi User 🕐 Atualizado 2024-01-17 📅 Criado 2022-05-12
15
apache/avro

Apache Avro é um sistema de serialização de dados.

apache
⭐ 3,314 Java 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2009-05-21
16
MoRan1607/BigDataGuide

Aprendizagem de Big Data: aprenda Big Data do zero, incluindo vídeos de aprendizagem para cada fase e materiais de entrevista.

MoRan1607
⭐ 3,259 👤 MoRan1607 User 🕐 Atualizado 2026-01-20 📅 Criado 2019-11-30
17
griddb/griddb

GridDB é um banco de dados de código aberto de próxima geração que torna a série temporal de IoT e big data rápida e fácil.

griddb
⭐ 2,470 C++ 👤 griddb Organization 🕐 Atualizado 2026-03-19 📅 Criado 2016-02-24
18
apconw/Aix-DB

Aix-DB, baseado na estrutura LangChain/LangGraph e combinado com a arquitetura de colaboração multi‑agente MCP Skills, realiza a conversão de ponta a ponta de linguagem natural para insights de dados.

apconw
⭐ 2,268 JavaScript 👤 apconw User 🕐 Atualizado 2026-11-06 📅 Criado 2024-11-15
19
dotnet/spark

.NET for Apache® Spark™ torna o Apache Spark™ facilmente acessível para desenvolvedores .NET.

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 Atualizado 2026-11-05 📅 Criado 2019-04-22
20
DTStack/flinkStreamSQL

Baseado no Flink de código aberto, estende seu SQL em tempo real; implementa principalmente a junção (join) de fluxo com tabelas dimensionais, suportando toda a sintaxe do SQL nativo do Flink

DTStack
⭐ 2,058 Java 👤 DTStack Organization 🕐 Atualizado 2024-02-21 📅 Criado 2018-09-12
21
byzer-org/byzer-lang

Byzer (anteriormente MLSQL): Uma linguagem de programação open-source de baixo código para pipeline de dados, análise e IA.

byzer-org
⭐ 1,849 Scala 👤 byzer-org Organization 🕐 Atualizado 2024-05-29 📅 Criado 2016-04-28
22
collabH/bigdata-growth

O repositório de conhecimento de big data envolve modelagem de data warehouse, computação em tempo real, big data, plataforma de dados (data middle office), design de sistemas, Java e algoritmos.

collabH
⭐ 1,838 Python 👤 collabH User 🕐 Atualizado 2026-04-18 📅 Criado 2020-06-10
23
Netflix/genie

Serviço de Orquestração de Big Data Distribuído

Netflix
⭐ 1,766 Java 👤 Netflix Organization 🕐 Atualizado 2026-11-21 📅 Criado 2013-06-20
24
YoongiKim/AutoCrawler

Rastreador web de imagens multiprocesso do Google e Naver (Selenium)

YoongiKim
⭐ 1,700 Python 👤 YoongiKim User 🕐 Atualizado 2026-11-12 📅 Criado 2018-11-21
25
jadianes/spark-py-notebooks

Tutoriais de Apache Spark e Python (pySpark) para Análise de Big Data e Machine Learning como notebooks IPython / Jupyter

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 Atualizado 2024-03-16 📅 Criado 2015-05-06
26
hi-primus/optimus

:truck: Fluxos de Trabalho Ágeis de Preparação de Dados facilitados com Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 Atualizado 2024-12-02 📅 Criado 2017-07-13
27
opendatadiscovery/odd-platform

Primeira plataforma open-source de descoberta e observabilidade de dados. Tornamos a vida dos profissionais de dados fácil para que você possa se concentrar em seus negócios.

opendatadiscovery
⭐ 1,441 Java 👤 opendatadiscovery Organization 🕐 Atualizado 2026-10-19 📅 Criado 2021-07-07
28
apache/celeborn

Apache Celeborn é um serviço elástico e de alto desempenho para embaralhamento e despejo de dados.

apache
⭐ 1,081 Java 👤 apache Organization 🕐 Atualizado 2026-11-20 📅 Criado 2021-12-10
29
zeromicro/cds

Sincronização de dados em Go para ClickHouse.

zeromicro
⭐ 982 Go 👤 zeromicro Organization 🕐 Atualizado 2025-06-07 📅 Criado 2020-11-25
30
apache/livy

Apache Livy é uma interface REST de código aberto para interagir com o Apache Spark a partir de qualquer lugar.

apache
⭐ 962 Scala 👤 apache Organization 🕐 Atualizado 2026-10-20 📅 Criado 2017-06-25
31
microsoft/Mobius

Vinculação e extensões de linguagem C# e F# para Apache Spark

microsoft
⭐ 948 C# 👤 microsoft Organization 🕐 Atualizado 2025-12-11 📅 Criado 2015-10-27
32
visualpython/visualpython

Gerador de código Python baseado em GUI para ciência de dados, extensão para Jupyter Lab, Jupyter Notebook e Google Colab.

visualpython
⭐ 917 JavaScript 👤 visualpython User 🕐 Atualizado 2024-07-03 📅 Criado 2021-05-02
33
pingcap/tispark

TiSpark é construído para executar o Apache Spark sobre o TiDB/TiKV

pingcap
⭐ 889 Scala 👤 pingcap Organization 🕐 Atualizado 2026-08-20 📅 Criado 2017-05-02
34
intsmaze/flink-boot

O *scaffolding* Flink-Boot do Lazy Squirrel permite que o Flink abrace totalmente o ecossistema Spring, permitindo que os desenvolvedores criem programas de processamento de fluxo executados de forma distribuída usando o modo de desenvolvimento Java WEB, tornando a transição de domínio mais simples com o Lazy Squirrel. O objetivo do Lazy Squirrel é permitir que os desenvolvedores escrevam rapidamente código de negócios para implementação com um custo de entrada menor (sem a necessidade de entender a teoria da computação distribuída e os detalhes do *framework* Flink). Para melhorar ainda mais a agilidade no desenvolvimento de projetos de grande escala usando o *scaffolding* Lazy Squirrel, este *scaffolding* integra o *framework* Spring para gerenciamento de *beans* por padrão e incorpora *frameworks* comumente usados nas áreas de microsserviços e desenvolvimento WEB para acelerar ainda mais a velocidade de desenvolvimento. Por exemplo, integra o *framework* ORM Mybatis, o *framework* de validação Hibernate Validator, o *framework* de repetição Spring Retry, etc., veja as características do *scaffolding* abaixo.

intsmaze
⭐ 827 Java 👤 intsmaze User 🕐 Atualizado 2024-04-27 📅 Criado 2020-11-10
35
NationalSecurityAgency/datawave

DataWave é uma estrutura de ingestão/consulta que aproveita o Apache Accumulo para fornecer acesso rápido e seguro a dados.

NationalSecurityAgency
⭐ 779 Java 👤 NationalSecurityAgency Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-01-10
36
gearpump/gearpump

Motor leve de streaming de big data em tempo real baseado no Apache Pekko

gearpump
⭐ 757 Scala 👤 gearpump Organization 🕐 Atualizado 2026-11-09 📅 Criado 2014-07-23
37
MrXujiang/v6.dooring.public

Solução de tela grande visualizável, fornecendo um motor de edição visual que ajuda indivíduos ou empresas a personalizar facilmente seus próprios aplicativos de tela grande visualizáveis.

MrXujiang
⭐ 715 TypeScript 👤 MrXujiang User 🕐 Atualizado 2025-07-06 📅 Criado 2021-03-08
38
WeBankFinTech/WeDataSphere

WeDataSphere é uma suíte de plataforma de big data de nível financeiro e completa.

WeBankFinTech
⭐ 676 👤 WeBankFinTech Organization 🕐 Atualizado 2024-03-14 📅 Criado 2019-07-23
39
bigartm/bigartm

Plataforma rápida de modelagem de tópicos

bigartm
⭐ 673 C++ 👤 bigartm Organization 🕐 Atualizado 2026-02-05 📅 Criado 2014-09-15
40
AbsaOSS/spline

Solução de Rastreamento e Visualização de Linhagem de Dados

AbsaOSS
⭐ 669 Scala 👤 AbsaOSS Organization 🕐 Atualizado 2026-11-04 📅 Criado 2017-05-30
41
unum-cloud/UStore

Banco de dados transacional incorporado para blobs, documentos e grafos, com NVMe sem passagem pelo kernel via io_uring e SPDK, compactação na GPU e uma única ABI C para seus próprios mecanismos, RocksDB e LevelDB 🗄️

unum-cloud
⭐ 649 C++ 👤 unum-cloud Organization 🕐 Atualizado 2026-11-18 📅 Criado 2022-06-12
42
gangly/datafaker

Datafaker é uma ferramenta de geração de dados de teste em larga escala e dados de teste de fluxo. O Datafaker simula dados e os insere em várias fontes de dados. Ferramenta de geração de dados de teste

gangly
⭐ 643 Python 👤 gangly User 🕐 Atualizado 2026-04-04 📅 Criado 2019-03-26
43
marmotdata/marmot

O centro de conhecimento open source para a sua empresa. O Marmot entende o que seus dados significam, controla quem pode usá-los e executa todas as consultas feitas pela sua equipe e pelos seus agentes, com verificação e registro. Catálogo, linhagem, SQL governado e um servidor MCP em um único binário Go.

marmotdata
⭐ 639 Go 👤 marmotdata Organization 🕐 Atualizado 2026-11-20 📅 Criado 2025-03-12
44
minio/sidekick

Balanceador de Carga Lateral (Sidecar) HTTP de Alto Desempenho

minio
⭐ 585 Go 👤 minio Organization 🕐 Atualizado 2025-07-14 📅 Criado 2020-03-05
45
achtungsoftware/alarik

Armazenamento de objetos distribuído de alto desempenho compatível com S3, focado em velocidade e projetado como uma alternativa aberta ao MinIO e RustFS.

achtungsoftware
⭐ 584 Swift 👤 achtungsoftware Organization 🕐 Atualizado 2026-09-19 📅 Criado 2025-12-06
46
ganweisoft/TOMs

TOMs é um framework de desenvolvimento de propósito geral totalmente de código aberto, de alto desempenho, sistemático, orientado a plugins e agnóstico de cenário.

ganweisoft
⭐ 581 CSS 👤 ganweisoft Organization 🕐 Atualizado 2025-12-04 📅 Criado 2025-06-11
47
mvillarrealb/docker-spark-cluster

Um cluster simples standalone do Spark para os propósitos do seu ambiente de teste

mvillarrealb
⭐ 570 Dockerfile 👤 mvillarrealb User 🕐 Atualizado 2024-03-06 📅 Criado 2018-09-23
48
leesf/hudi-resources

Compilação de materiais relacionados ao Apache Hudi

leesf
⭐ 554 👤 leesf User 🕐 Atualizado 2026-03-31 📅 Criado 2019-12-11
49
zhaoyachao/zdh_web

zdh_web, uma plataforma de coleta e extração de big data, é a plataforma de gerenciamento visual para os serviços da série zdh, incluindo módulos como coleta de dados, agendamento, permissões, fluxo de aprovação e marketing de domínio privado, entre outros.

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 Atualizado 2026-06-07 📅 Criado 2020-02-03
50
nicgirault/circosJS

biblioteca d3 para construir gráficos circulares

nicgirault
⭐ 534 JavaScript 👤 nicgirault User 🕐 Atualizado 2026-01-23 📅 Criado 2014-11-28

Perguntas Frequentes

1

Qual é o repositório de #bigdata mais popular no GitHub?

O projeto de código aberto de #bigdata mais bem classificado no GitHub é DataExpert-io/data-engineer-handbook, com 45,237 estrelas. Este é um repositório com links para tudo o que você gostaria de aprender sobre engenharia de dados

2

Quais linguagens de programação são mais usadas nos repositórios de #bigdata?

Entre os projetos de #bigdata mais bem classificados no GitHub, as linguagens de programação mais comuns são Java, Go, Python, Scala.

3

Como é calculada a classificação dos repositórios de #bigdata?

Acompanhamos 51 repositórios ativos de código aberto marcados com #bigdata (com mais de 500 estrelas), totalizando 261,861 estrelas e uma média de 5,134 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.