Git Stars Git Stars

#big-data Repositórios

Descubra 133 repositórios ativos de código aberto no GitHub marcados com #big-data, acumulando um total de 683,600 estrelas (uma média de 5,139 por projeto). O líder deste tópico é binhnguyennus/awesome-scalability, com 75,924 estrelas.

133
Total de Repositórios
683,600
Total de estrelas
5,139
Média de Estrelas/Repositório

133 repositórios no total

1
binhnguyennus/awesome-scalability

Os Padrões de Sistemas Grandes Escaláveis, Confiáveis e de Alto Desempenho

binhnguyennus
⭐ 75,924 👤 binhnguyennus User 🕐 Atualizado 2026-01-04 📅 Criado 2017-12-27
2
ClickHouse/ClickHouse

ClickHouse® é um sistema de gerenciamento de banco de dados analítico em tempo real

ClickHouse
⭐ 51,051 C++ 👤 ClickHouse Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-06-02
3
apache/spark

Apache Spark - Um motor de análise unificado para processamento de dados em larga escala

apache
⭐ 44,593 Scala 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2014-02-25
4
donnemartin/data-science-ipython-notebooks

Cadernos Python de ciência de dados: Aprendizado profundo (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, conceitos essenciais de Python, AWS e várias linhas de comando.

donnemartin
⭐ 28,776 Python 👤 donnemartin User 🕐 Atualizado 2024-03-20 📅 Criado 2015-01-23
5
apache/flink

Apache Flink

apache
⭐ 26,487 Java 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2014-06-07
6
thingsboard/thingsboard

Plataforma IoT completa — gestão de dispositivos, coleta, processamento e visualização de dados.

thingsboard
⭐ 22,701 Java 👤 thingsboard Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-12-01
7
amark/gun

Um protocolo de cibersegurança de código aberto para sincronizar dados de grafo descentralizados.

amark
⭐ 19,166 JavaScript 👤 amark User 🕐 Atualizado 2026-11-20 📅 Criado 2014-07-31
8
heibaiying/BigData-Notes

Guia de Introdução a Big Data :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 Atualizado 2024-01-05 📅 Criado 2019-03-10
9
prestodb/presto

O lar oficial do motor de consulta SQL distribuído Presto para big data

prestodb
⭐ 16,777 Java 👤 prestodb Organization 🕐 Atualizado 2026-11-20 📅 Criado 2012-08-09
10
andkret/Cookbook

O Livro de Receitas de Engenharia de Dados

andkret
⭐ 15,594 Python 👤 andkret User 🕐 Atualizado 2026-10-16 📅 Criado 2019-03-10
11
trinodb/trino

Repositório oficial do Trino, o motor de consulta SQL distribuído para big data, anteriormente conhecido como PrestoSQL (https://trino.io)

trinodb
⭐ 13,532 Java 👤 trinodb Organization 🕐 Atualizado 2026-11-21 📅 Criado 2019-01-19
12
vesoft-inc/nebula

Um banco de dados de grafos distribuído, rápido e de código aberto, com escalabilidade horizontal e alta disponibilidade

vesoft-inc
⭐ 12,474 C++ 👤 vesoft-inc Organization 🕐 Atualizado 2026-09-08 📅 Criado 2018-08-28
13
StarRocks/starrocks

O motor de consulta aberto mais rápido do mundo para análises em subsegundos, tanto no data lakehouse quanto fora dele. Com a flexibilidade para suportar quase qualquer cenário, o StarRocks oferece o melhor desempenho da categoria para análises multidimensionais, análises em tempo real e consultas ad-hoc. Um projeto da Linux Foundation.

StarRocks
⭐ 12,278 Java 👤 StarRocks Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-09-04
14
quickwit-oss/quickwit

Mecanismo de busca OSS nativo da nuvem para observabilidade

quickwit-oss
⭐ 11,810 Rust 👤 quickwit-oss Organization 🕐 Atualizado 2026-11-20 📅 Criado 2021-04-13
15
provectus/kafka-ui

Interface Web de Código Aberto para Gerenciamento do Apache Kafka

provectus
⭐ 11,754 Java 👤 provectus Organization 🕐 Atualizado 2024-07-26 📅 Criado 2019-11-26
16
cython/cython

O compilador Python para C mais usado

cython
⭐ 10,898 Cython 👤 cython Organization 🕐 Atualizado 2026-11-19 📅 Criado 2010-11-21
17
apache/datafusion

Apache DataFusion SQL Query Engine

apache
⭐ 9,631 Rust 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-04-17
18
catboost/catboost

Uma biblioteca de Gradient Boosting em Árvores de Decisão rápida, escalável e de alto desempenho, usada para ranking, classificação, regressão e outras tarefas de aprendizado de máquina para Python, R, Java, C++. Suporta computação em CPU e GPU.

catboost
⭐ 9,210 C++ 👤 catboost Organization 🕐 Atualizado 2026-11-20 📅 Criado 2017-07-18
19
delta-io/delta

Uma estrutura de armazenamento de código aberto que permite a construção de uma arquitetura Lakehouse com motores de computação, incluindo Spark, PrestoDB, Flink, Trino e Hive, e APIs

delta-io
⭐ 9,083 Scala 👤 delta-io Organization 🕐 Atualizado 2026-11-21 📅 Criado 2019-04-22
20
apache/beam

O Apache Beam é um modelo de programação unificado para processamento de dados em Batch e Streaming.

apache
⭐ 8,723 Java 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-02-02
21
arkime/arkime

Arkime é um sistema de código aberto, em grande escala, para captura completa de pacotes, indexação e banco de dados.

arkime
⭐ 7,583 C 👤 arkime Organization 🕐 Atualizado 2026-11-20 📅 Criado 2012-07-06
22
h2oai/h2o-3

H2O é uma Plataforma de Aprendizado de Máquina de Código Aberto, Distribuída, Rápida e Escalável: Deep Learning, Gradient Boosting (GBM) e XGBoost, Random Forest, Generalized Linear Modeling (GLM com Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.

h2oai
⭐ 7,527 Jupyter Notebook 👤 h2oai Organization 🕐 Atualizado 2026-11-11 📅 Criado 2014-03-03
23
feast-dev/feast

O Repositório de Funcionalidades de Código Aberto para IA/ML

feast-dev
⭐ 7,362 Python 👤 feast-dev Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-12-10
24
vespa-engine/vespa

A plataforma de busca por IA

vespa-engine
⭐ 7,190 Java 👤 vespa-engine Organization 🕐 Atualizado 2026-11-21 📅 Criado 2016-06-03
25
apache/couchdb

Banco de dados de sincronização multi-primária contínua com uma API HTTP/JSON intuitiva, projetado para confiabilidade

apache
⭐ 7,013 Erlang 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2009-05-21
26
apache/zeppelin

Caderno baseado na web que permite análise de dados interativa e orientada por dados e documentos colaborativos com SQL, Scala e mais.

apache
⭐ 6,670 Java 👤 apache Organization 🕐 Atualizado 2026-11-20 📅 Criado 2015-03-25
27
hazelcast/hazelcast

Hazelcast é uma plataforma de dados unificada em tempo real que combina processamento de fluxo com um armazenamento de dados rápido, permitindo que os clientes ajam instantaneamente sobre dados em movimento para insights em tempo real.

hazelcast
⭐ 6,636 Java 👤 hazelcast Organization 🕐 Atualizado 2026-11-20 📅 Criado 2012-03-21
28
apache/iotdb

Apache IoTDB

apache
⭐ 6,437 Java 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-11-24
29
pachyderm/pachyderm

Pipelines Centrados em Dados e Versionamento de Dados

pachyderm
⭐ 6,295 Go 👤 pachyderm Organization 🕐 Atualizado 2025-02-03 📅 Criado 2014-09-04
30
vcaesar/riot

Mecanismo de busca de texto/vetores em Go, de código aberto, distribuído, simples, rápido e eficiente

vcaesar
⭐ 6,068 Go 👤 vcaesar User 🕐 Atualizado 2026-11-20 📅 Criado 2017-06-21
31
apache/hive

Apache Hive

apache
⭐ 6,038 Java 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2009-05-21
32
Eventual-Inc/Daft

Mecanismo de dados de alto desempenho para cargas de trabalho de IA e multimodais. Processe imagens, áudio, vídeo e dados estruturados em qualquer escala.

Eventual-Inc
⭐ 5,858 Rust 👤 Eventual-Inc Organization 🕐 Atualizado 2026-11-09 📅 Criado 2022-04-25
33
microsoft/SynapseML

Biblioteca Python de aprendizado de máquina simples e distribuída que porta algoritmos de ML para Spark

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 Atualizado 2026-11-18 📅 Criado 2017-06-05
34
apache/calcite

Apache Calcite

apache
⭐ 5,216 Java 👤 apache Organization 🕐 Atualizado 2026-11-19 📅 Criado 2014-06-25
35
apache/ignite

Apache Ignite

apache
⭐ 5,090 Java 👤 apache Organization 🕐 Atualizado 2026-11-20 📅 Criado 2015-02-19
36
tschellenbach/Stream-Framework

Stream Framework é uma biblioteca Python que permite construir feeds de notícias, fluxos de atividade e sistemas de notificação usando Cassandra e/ou Redis. Os autores do Stream-Framework também fornecem um serviço em nuvem para tecnologia de feeds:

tschellenbach
⭐ 4,739 Python 👤 tschellenbach User 🕐 Atualizado 2025-12-04 📅 Criado 2012-08-08
37
tangbc/vue-virtual-scroll-list

Um componente Vue que suporta listas de grandes quantidades de dados com alto desempenho de renderização e eficiência.

tangbc
⭐ 4,544 JavaScript 👤 tangbc User 🕐 Atualizado 2024-05-08 📅 Criado 2017-03-17
38
rom1504/img2dataset

Transforme facilmente grandes conjuntos de URLs de imagens em um dataset de imagens. Pode baixar, redimensionar e empacotar 100 milhões de URLs em 20h em uma única máquina.

rom1504
⭐ 4,458 Python 👤 rom1504 User 🕐 Atualizado 2025-10-19 📅 Criado 2021-08-11
39
crate/crate

CrateDB é um banco de dados SQL distribuído e escalável para armazenar e analisar grandes volumes de dados em tempo quase real, mesmo com consultas complexas. É compatível com PostgreSQL e baseado no Lucene.

crate
⭐ 4,456 Java 👤 crate Organization 🕐 Atualizado 2026-11-20 📅 Criado 2013-04-10
40
alibaba/fastjson2

🚄 FASTJSON2 é uma biblioteca JSON Java com excelente desempenho.

alibaba
⭐ 4,433 Java 👤 alibaba Organization 🕐 Atualizado 2026-11-15 📅 Criado 2022-04-17
41
Moataz-Elmesmary/Data-Science-Roadmap

Roteiro de Ciência de Dados de A a Z

Moataz-Elmesmary
⭐ 4,429 👤 Moataz-Elmesmary User 🕐 Atualizado 2025-12-06 📅 Criado 2022-04-17
42
Rdatatable/data.table

O pacote data.table de R estende data.frame:

Rdatatable
⭐ 3,930 R 👤 Rdatatable Organization 🕐 Atualizado 2026-11-20 📅 Criado 2014-06-07
43
alibaba/GraphScope

🔨 🍇 💻 🚀 GraphScope: Um sistema de computação em grafo em larga escala tudo-em-um da Alibaba | Sistema de computação em grafo tudo-em-um

alibaba
⭐ 3,564 C++ 👤 alibaba Organization 🕐 Atualizado 2026-09-23 📅 Criado 2020-10-28
44
lakehq/sail

Substituição drop-in do Apache Spark escrita em Rust, unificando processamento em lotes, processamento de stream e cargas de trabalho de IA intensivas em computação.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-21
45
apache/datafusion-sqlparser-rs

Lexer e Parser SQL Extensível para Rust

apache
⭐ 3,483 Rust 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-02-06
⭐ 3,476 HTML 👤 NLPIR-team Organization 🕐 Atualizado 2026-07-30 📅 Criado 2015-05-04
47
apache/paimon

Apache Paimon é um formato de lake que permite construir uma Arquitetura Lakehouse em Tempo Real com Flink e Spark, tanto para operações de streaming quanto para operações em lote.

apache
⭐ 3,454 Java 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-01-12
48
databricks/koalas

Koalas: API pandas no Apache Spark

databricks
⭐ 3,368 Python 👤 databricks Organization 🕐 Atualizado 2024-03-20 📅 Criado 2019-01-03
49
apache/hugegraph

Um banco de dados de grafos que suporta mais de 100 bilhões de dados, alto desempenho e escalabilidade (Inclui Motor OLTP e API REST e Backends)

apache
⭐ 3,211 Java 👤 apache Organization 🕐 Atualizado 2026-11-19 📅 Criado 2018-07-18
50
TuiQiao/CBoard

Uma plataforma de relatórios e dashboards de BI aberta, de autoatendimento e fácil de usar.

TuiQiao
⭐ 3,099 JavaScript 👤 TuiQiao Organization 🕐 Atualizado 2026-11-16 📅 Criado 2016-09-21

Perguntas Frequentes

1

Qual é o repositório de #big-data mais popular no GitHub?

O projeto de código aberto de #big-data mais bem classificado no GitHub é binhnguyennus/awesome-scalability, com 75,924 estrelas. Os Padrões de Sistemas Grandes Escaláveis, Confiáveis e de Alto Desempenho

2

Quais linguagens de programação são mais usadas nos repositórios de #big-data?

Entre os projetos de #big-data mais bem classificados no GitHub, as linguagens de programação mais comuns são Java, Python, Rust, C++.

3

Como é calculada a classificação dos repositórios de #big-data?

Acompanhamos 133 repositórios ativos de código aberto marcados com #big-data (com mais de 500 estrelas), totalizando 683,600 estrelas e uma média de 5,139 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.