Git Stars Git Stars

#spark Repositórios

Descubra 126 repositórios ativos de código aberto no GitHub marcados com #spark, acumulando um total de 513,269 estrelas (uma média de 4,073 por projeto). O líder deste tópico é DataTalksClub/data-engineering-zoomcamp, com 46,997 estrelas.

126
Total de Repositórios
513,269
Total de estrelas
4,073
Média de Estrelas/Repositório

126 repositórios no total

1
DataTalksClub/data-engineering-zoomcamp

Data Engineering Zoomcamp é um curso gratuito de 9 semanas sobre a criação de pipelines de dados prontos para produção. Participe do curso aqui 👇🏼

DataTalksClub
⭐ 46,997 Jupyter Notebook 👤 DataTalksClub Organization 🕐 Atualizado 2026-11-16 📅 Criado 2021-10-21
2
apache/spark

Apache Spark - Um motor de análise unificado para processamento de dados em larga escala

apache
⭐ 44,593 Scala 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2014-02-25
3
getredash/redash

Torne a sua empresa orientada a dados. Conecte-se a qualquer fonte de dados, visualize, crie dashboards e compartilhe seus dados facilmente.

getredash
⭐ 28,895 TypeScript 👤 getredash Organization 🕐 Atualizado 2026-11-14 📅 Criado 2013-10-28
4
donnemartin/data-science-ipython-notebooks

Cadernos Python de ciência de dados: Aprendizado profundo (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, conceitos essenciais de Python, AWS e várias linhas de comando.

donnemartin
⭐ 28,776 Python 👤 donnemartin User 🕐 Atualizado 2024-03-20 📅 Criado 2015-01-23
5
yeasy/docker_practice

Tecnologia de contêiner Docker mais recente, aprenda as melhores práticas a partir de casos reais! | Aprenda e compreenda as tecnologias Docker & Container, com prática real de DevOps.

yeasy
⭐ 26,382 Go 👤 yeasy User 🕐 Atualizado 2026-11-11 📅 Criado 2014-09-05
6
heibaiying/BigData-Notes

Guia de Introdução a Big Data :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 Atualizado 2024-01-05 📅 Criado 2019-03-10
7
FavioVazquez/ds-cheatsheets

Lista de Cheatsheets de Ciência de Dados para dominar o mundo

FavioVazquez
⭐ 15,921 👤 FavioVazquez User 🕐 Atualizado 2024-07-18 📅 Criado 2018-12-20
8
GaiZhenbiao/ChuanhuChatGPT

Interface gráfica para a API do ChatGPT e muitos LLMs. Suporta agentes, QA baseado em arquivos, ajuste fino do GPT e consulta com pesquisa na web. Tudo com uma interface limpa.

GaiZhenbiao
⭐ 15,237 Python 👤 GaiZhenbiao User 🕐 Atualizado 2026-09-16 📅 Criado 2023-03-02
9
zhisheng17/flink-learning

Blog de aprendizado do Flink. http://www.54tianzhisheng.cn/ Contém conteúdo sobre introdução ao Flink, conceitos, princípios, prática, ajuste de desempenho e análise de código-fonte. Inclui casos de estudo de aprendizado sobre Flink Connector, Metrics, Library, DataStream API, Table API & SQL, além de compartilhamento de casos de projetos em grande escala (PVUV, armazenamento de logs, deduplicação em tempo real de bilhões de dados, alerta de monitoramento) da aplicação prática do Flink. Bem-vindos a apoiar minha coluna "Motor de Computação em Tempo Real de Big Data Flink: Prática e Otimização de Desempenho".

zhisheng17
⭐ 15,109 Java 👤 zhisheng17 User 🕐 Atualizado 2026-05-06 📅 Criado 2019-01-01
10
aalansehaiyang/technology-talk

【Coluna de Entrevistas de Grandes Empresas】Um guia técnico essencial para programadores Java, contendo perguntas de entrevista, arquitetura de sistemas, dicas de carreira, middlewares populares e mais, para ajudá-lo a se tornar uma versão ainda melhor de si mesmo!

aalansehaiyang
⭐ 14,717 👤 aalansehaiyang User 🕐 Atualizado 2025-07-21 📅 Criado 2016-06-10
11
horovod/horovod

Framework de treinamento distribuído para TensorFlow, Keras, PyTorch e Apache MXNet.

horovod
⭐ 14,695 Python 👤 horovod Organization 🕐 Atualizado 2026-06-20 📅 Criado 2017-08-09
12
deeplearning4j/deeplearning4j

Conjunto de ferramentas para implantar e treinar modelos de aprendizado profundo usando a JVM. Os destaques incluem importação de modelos para keras, tensorflow e onnx/pytorch, uma biblioteca c++ modular e minúscula para executar código matemático e uma biblioteca matemática baseada em java sobre a biblioteca c++ principal. Inclui também samediff: uma biblioteca semelhante a pytorch/tensorflow para executar aprendizado profundo...

deeplearning4j
⭐ 14,283 Java 👤 deeplearning4j Organization 🕐 Atualizado 2026-10-05 📅 Criado 2013-11-27
13
tobymao/sqlglot

Analisador e Transpilador de SQL em Python

tobymao
⭐ 9,809 Python 👤 tobymao User 🕐 Atualizado 2026-11-21 📅 Criado 2021-03-13
14
delta-io/delta

Uma estrutura de armazenamento de código aberto que permite a construção de uma arquitetura Lakehouse com motores de computação, incluindo Spark, PrestoDB, Flink, Trino e Hive, e APIs

delta-io
⭐ 9,083 Scala 👤 delta-io Organization 🕐 Atualizado 2026-11-21 📅 Criado 2019-04-22
15
mage-ai/mage-ai

🧙 Construa, execute e gerencie pipelines de dados para integrar e transformar dados.

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-05-16
16
h2oai/h2o-3

H2O é uma Plataforma de Aprendizado de Máquina de Código Aberto, Distribuída, Rápida e Escalável: Deep Learning, Gradient Boosting (GBM) e XGBoost, Random Forest, Generalized Linear Modeling (GLM com Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML), etc.

h2oai
⭐ 7,527 Jupyter Notebook 👤 h2oai Organization 🕐 Atualizado 2026-11-11 📅 Criado 2014-03-03
17
Alluxio/alluxio

Alluxio, orquestração de dados para análise e aprendizado de máquina na nuvem

Alluxio
⭐ 7,264 Java 👤 Alluxio Organization 🕐 Atualizado 2026-09-01 📅 Criado 2012-12-21
18
Angel-ML/angel

Um Servidor de Parâmetros Flexível e Poderoso para aprendizado de máquina em larga escala

Angel-ML
⭐ 6,797 Java 👤 Angel-ML Organization 🕐 Atualizado 2026-11-19 📅 Criado 2017-04-25
19
apache/zeppelin

Caderno baseado na web que permite análise de dados interativa e orientada por dados e documentos colaborativos com SQL, Scala e mais.

apache
⭐ 6,670 Java 👤 apache Organization 🕐 Atualizado 2026-11-20 📅 Criado 2015-03-25
20
microsoft/SynapseML

Biblioteca Python de aprendizado de máquina simples e distribuída que porta algoritmos de ML para Spark

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 Atualizado 2026-11-18 📅 Criado 2017-06-05
21
tencentmusic/cube-studio

Plataforma de IA unificada, open source, de machine learning/deep learning/grandes modelos nativa da nuvem cube studio, fluxo de trabalho completo de MLOps para algoritmos, plataforma de aluguel de poder computacional, desenvolvimento online em notebook, orquestração de pipeline de fluxo de tarefas arrastar e soltar, treinamento distribuído multi-máquina/multi-GPU, busca de hiperparâmetros, virtualização VGPU para serviço de inferência, computação de borda, anotação automatizada pela plataforma de anotação, ajuste fino SFT de grandes modelos como deepseek/modelo de recompensa/treinamento de aprendizado por reforço, inferência multi-máquina de grandes modelos como vllm/ollama/mindie, base de conhecimento privada, mercado de modelos de IA, suporte ao ecossistema chinês de CPUs/GPUs/NPUs Ascend, suporte a RDMA, suporte a frameworks distribuídos como pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 Atualizado 2026-10-09 📅 Criado 2021-08-17
22
apache/streampark

O plano de controle aberto para dados em tempo real

apache
⭐ 4,352 Java 👤 apache Organization 🕐 Atualizado 2026-10-31 📅 Criado 2019-05-27
23
JohnSnowLabs/spark-nlp

Processamento de Linguagem Natural de Última Geração

JohnSnowLabs
⭐ 4,162 Scala 👤 JohnSnowLabs Organization 🕐 Atualizado 2026-11-14 📅 Criado 2017-09-24
24
RoaringBitmap/RoaringBitmap

Um bitset compactado melhor em Java: usado pelo Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw e muitos outros

RoaringBitmap
⭐ 3,957 Java 👤 RoaringBitmap Organization 🕐 Atualizado 2026-11-14 📅 Criado 2013-06-17
25
Cyb3rWard0g/HELK

A Caça ao Alce

Cyb3rWard0g
⭐ 3,901 Jupyter Notebook 👤 Cyb3rWard0g User 🕐 Atualizado 2024-06-01 📅 Criado 2017-03-14
26
awslabs/deequ

Deequ é uma biblioteca construída sobre o Apache Spark para definir "testes de unidade para dados", que medem a qualidade dos dados em grandes conjuntos de dados.

awslabs
⭐ 3,660 Scala 👤 awslabs Organization 🕐 Atualizado 2026-10-20 📅 Criado 2018-08-07
27
lakehq/sail

Substituição drop-in do Apache Spark escrita em Rust, unificando processamento em lotes, processamento de stream e cargas de trabalho de IA intensivas em computação.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-21
28
liyupi/sql-generator

🔨 Gere instruções SQL estruturadas usando JSON, implementado com Vue3 + TypeScript + Vite + Ant Design + MonacoEditor. O projeto é simples (foco na lógica, poucas páginas) e ideal para prática!

liyupi
⭐ 3,455 Vue 👤 liyupi User 🕐 Atualizado 2024-01-17 📅 Criado 2022-05-12
29
apache/paimon

Apache Paimon é um formato de lake que permite construir uma Arquitetura Lakehouse em Tempo Real com Flink e Spark, tanto para operações de streaming quanto para operações em lote.

apache
⭐ 3,454 Java 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-01-12
30
apache/linkis

O Apache Linkis constrói uma camada de middleware de computação para facilitar a conexão, governança e orquestração entre as aplicações superiores e os motores de dados subjacentes.

apache
⭐ 3,417 Java 👤 apache Organization 🕐 Atualizado 2026-11-04 📅 Criado 2019-07-23
31
databricks/koalas

Koalas: API pandas no Apache Spark

databricks
⭐ 3,368 Python 👤 databricks Organization 🕐 Atualizado 2024-03-20 📅 Criado 2019-01-03
32
WeBankFinTech/DataSphereStudio

O DataSphereStudio é um portal completo de desenvolvimento e gerenciamento de aplicações de dados, cobrindo cenários como troca de dados, dessensibilização/limpeza, análise/mineração, medição de qualidade, visualização e agendamento de tarefas.

WeBankFinTech
⭐ 3,275 Java 👤 WeBankFinTech Organization 🕐 Atualizado 2025-11-04 📅 Criado 2019-11-24
33
lakesoul-io/LakeSoul

Um mecanismo lakehouse aberto para agentes — nativo de Postgres, vetores e Python. Fala PostgreSQL, funciona no seu armazenamento de objetos e foi escrito em Rust.

lakesoul-io
⭐ 3,261 Rust 👤 lakesoul-io Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-12-28
34
MoRan1607/BigDataGuide

Aprendizagem de Big Data: aprenda Big Data do zero, incluindo vídeos de aprendizagem para cada fase e materiais de entrevista.

MoRan1607
⭐ 3,259 👤 MoRan1607 User 🕐 Atualizado 2026-01-20 📅 Criado 2019-11-30
35
kubeflow/spark-operator

Operador Kubernetes para gerenciar o ciclo de vida de aplicações Apache Spark no Kubernetes.

kubeflow
⭐ 3,162 Python 👤 kubeflow Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-01-03
36
Luce-Org/lucebox

Motor de inferência Lucebox para hardware heterogêneo e GPUs de consumo

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Atualizado 2026-11-21 📅 Criado 2026-04-03
37
RayXBuilds/Movie_Recommend

Projeto histórico de aprendizagem: recomendações de filmes com Spark, web scraping, aplicação web e backend. O desenvolvimento contínuo da nova versão está em cinematch-recommender.

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 Atualizado 2026-10-21 📅 Criado 2018-04-18
38
spark-jobserver/spark-jobserver

Servidor de tarefas REST para Apache Spark

spark-jobserver
⭐ 2,833 Scala 👤 spark-jobserver Organization 🕐 Atualizado 2026-03-03 📅 Criado 2014-08-21
39
vector4wang/spring-boot-quick

:herb: Exemplo de aprendizado rápido baseado em Spring Boot, integrando frameworks de código aberto que encontrei, como: RabbitMQ (fila de atraso), Kafka, JPA, Redis, OAuth2, Swagger, JSP, Docker, K3s, K3d, K8s, plugin de criptografia MyBatis, tratamento de exceções, saída de log, desenvolvimento multi-módulo, empacotamento multi-ambiente, cache, web scraping, JWT, GraphQL, Dubbo, Zookeeper e Async, etc.:pushpin:

vector4wang
⭐ 2,789 Java 👤 vector4wang User 🕐 Atualizado 2026-05-16 📅 Criado 2017-03-13
40
moj-analytical-services/splink

Vinculação de dados probabilística rápida, precisa e escalável com suporte para múltiplos backends SQL

moj-analytical-services
⭐ 2,592 Python 👤 moj-analytical-services Organization 🕐 Atualizado 2026-11-11 📅 Criado 2019-11-22
41
geekyouth/SZT-bigdata

Sistema de Análise de Fluxo de Passageiros de Big Data do Metrô de Shenzhen 🚇🚄🌟

geekyouth
⭐ 2,469 Scala 👤 geekyouth User 🕐 Atualizado 2026-05-12 📅 Criado 2020-04-13
42
XZB-1248/Spark

✨Spark é uma ferramenta de administração remota (RAT) baseada na web, multiplataforma e completa, escrita em Go, que permite controlar todos os seus dispositivos em qualquer lugar. Spark é uma ferramenta de controle e monitoramento remoto, escrita em Go, com interface web, multiplataforma e multifuncional, que permite monitorar e controlar todos os dispositivos a qualquer hora e em qualquer lugar.

XZB-1248
⭐ 2,412 Go 👤 XZB-1248 User 🕐 Atualizado 2026-03-16 📅 Criado 2022-03-16
43
apache/kyuubi

Apache Kyuubi é um gateway distribuído e multilocatário para fornecer SQL serverless em data warehouses e lakehouses.

apache
⭐ 2,379 Scala 👤 apache Organization 🕐 Atualizado 2026-11-19 📅 Criado 2017-12-18
44
ytsaurus/ytsaurus

YTsaurus é uma plataforma de big data de código aberto, escalável e tolerante a falhas.

ytsaurus
⭐ 2,325 C++ 👤 ytsaurus Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-12-05
45
o-gs/dji-firmware-tools

Ferramentas para lidar com firmwares de produtos DJI, com foco em quadricópteros.

o-gs
⭐ 2,309 C 👤 o-gs Organization 🕐 Atualizado 2026-11-11 📅 Criado 2016-08-03
46
salesforce/TransmogrifAI

TransmogrifAI (pronunciado trăns-mŏgˈrə-fī) é uma biblioteca AutoML para construir fluxos de trabalho de aprendizado de máquina modulares, reutilizáveis e fortemente tipados no Apache Spark com ajuste manual mínimo.

salesforce
⭐ 2,280 Scala 👤 salesforce Organization 🕐 Atualizado 2026-06-02 📅 Criado 2017-11-02
47
fugue-project/fugue

Uma interface unificada para computação distribuída. O Fugue executa código SQL, Python, Pandas e Polars em Spark, Dask e Ray sem qualquer reescrita.

fugue-project
⭐ 2,168 Python 👤 fugue-project Organization 🕐 Atualizado 2026-11-12 📅 Criado 2020-03-24
48
zio/zio-quill

Consultas Integradas à Linguagem em Tempo de Compilação para Scala

zio
⭐ 2,165 Scala 👤 zio Organization 🕐 Atualizado 2026-11-21 📅 Criado 2015-07-20
49
dotnet/spark

.NET for Apache® Spark™ torna o Apache Spark™ facilmente acessível para desenvolvedores .NET.

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 Atualizado 2026-11-05 📅 Criado 2019-04-22
50
broadinstitute/gatk

Repositório de código oficial para GATK versões 4 e superiores

broadinstitute
⭐ 2,010 Java 👤 broadinstitute Organization 🕐 Atualizado 2026-11-21 📅 Criado 2014-12-02

Perguntas Frequentes

1

Qual é o repositório de #spark mais popular no GitHub?

O projeto de código aberto de #spark mais bem classificado no GitHub é DataTalksClub/data-engineering-zoomcamp, com 46,997 estrelas. Data Engineering Zoomcamp é um curso gratuito de 9 semanas sobre a criação de pipelines de dados prontos para produção. Participe do curso aqui 👇🏼

2

Quais linguagens de programação são mais usadas nos repositórios de #spark?

Entre os projetos de #spark mais bem classificados no GitHub, as linguagens de programação mais comuns são Java, Scala, Python, Jupyter Notebook.

3

Como é calculada a classificação dos repositórios de #spark?

Acompanhamos 126 repositórios ativos de código aberto marcados com #spark (com mais de 500 estrelas), totalizando 513,269 estrelas e uma média de 4,073 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.