Git Stars Git Stars

#apache-spark Repositórios

Descubra 44 repositórios ativos de código aberto no GitHub marcados com #apache-spark, acumulando um total de 97,788 estrelas (uma média de 2,222 por projeto). O líder deste tópico é mlflow/mlflow, com 28,920 estrelas.

44
Total de Repositórios
97,788
Total de estrelas
2,222
Média de Estrelas/Repositório

44 repositórios no total

1
mlflow/mlflow

A plataforma de engenharia de IA open source para agentes, LLMs e modelos de ML. O MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações de IA de qualidade de produção enquanto controlam custos e gerenciam o acesso a modelos e dados.

mlflow
⭐ 28,920 Python 👤 mlflow Organization 🕐 Atualizado 2026-11-21 📅 Criado 2018-06-05
2
treeverse/lakeFS

lakeFS - Controle de versão de dados para o seu data lake | Git para dados

treeverse
⭐ 5,590 Go 👤 treeverse Organization 🕐 Atualizado 2026-11-19 📅 Criado 2019-09-12
3
JerryLead/SparkInternals

Notas sobre o design e a implementação do Apache Spark

JerryLead
⭐ 5,353 👤 JerryLead User 🕐 Atualizado 2024-04-02 📅 Criado 2014-08-08
4
microsoft/SynapseML

Biblioteca Python de aprendizado de máquina simples e distribuída que porta algoritmos de ML para Spark

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 Atualizado 2026-11-18 📅 Criado 2017-06-05
5
databricks/learning-spark

Exemplo de código do livro Learning Spark

databricks
⭐ 3,895 Java 👤 databricks Organization 🕐 Atualizado 2026-06-30 📅 Criado 2014-06-16
6
lakehq/sail

Substituição drop-in do Apache Spark escrita em Rust, unificando processamento em lotes, processamento de stream e cargas de trabalho de IA intensivas em computação.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-21
7
kubeflow/spark-operator

Operador Kubernetes para gerenciar o ciclo de vida de aplicações Apache Spark no Kubernetes.

kubeflow
⭐ 3,162 Python 👤 kubeflow Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-01-03
8
intel/BigDL

BigDL: TensorFlow, Keras e PyTorch Distribuídos no Apache Spark/Flink e Ray

intel
⭐ 2,699 Jupyter Notebook 👤 intel Organization 🕐 Atualizado 2026-06-12 📅 Criado 2017-05-05
9
dotnet/spark

.NET for Apache® Spark™ torna o Apache Spark™ facilmente acessível para desenvolvedores .NET.

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 Atualizado 2026-11-05 📅 Criado 2019-04-22
10
big-data-europe/docker-spark

Imagem Docker do Apache Spark

big-data-europe
⭐ 2,045 Shell 👤 big-data-europe Organization 🕐 Atualizado 2026-04-20 📅 Criado 2015-10-08
11
feathr-ai/feathr

Feathr – Uma plataforma unificada e escalável de engenharia de dados e IA para empresas

feathr-ai
⭐ 1,916 Scala 👤 feathr-ai Organization 🕐 Atualizado 2024-04-04 📅 Criado 2022-02-18
12
awesome-spark/awesome-spark

Uma lista selecionada de pacotes e recursos incríveis do Apache Spark.

awesome-spark
⭐ 1,903 Shell 👤 awesome-spark Organization 🕐 Atualizado 2026-02-27 📅 Criado 2016-02-01
13
holdenk/spark-testing-base

Classes base para usar ao escrever testes com Spark

holdenk
⭐ 1,555 Scala 👤 holdenk User 🕐 Atualizado 2026-10-31 📅 Criado 2015-01-30
14
japila-books/apache-spark-internals

Os Internos do Apache Spark

japila-books
⭐ 1,553 👤 japila-books Organization 🕐 Atualizado 2026-10-10 📅 Criado 2015-08-31
15
aws-samples/aws-glue-samples

Exemplos de código do AWS Glue

aws-samples
⭐ 1,538 Python 👤 aws-samples Organization 🕐 Atualizado 2026-11-16 📅 Criado 2017-05-21
16
sryza/aas

Código para acompanhar o livro Advanced Analytics with Spark da O'Reilly Media

sryza
⭐ 1,531 Scala 👤 sryza User 🕐 Atualizado 2024-09-25 📅 Criado 2014-11-08
17
locationtech/geomesa

GeoMesa é um conjunto de ferramentas para trabalhar com grandes dados geoespaciais de forma distribuída.

locationtech
⭐ 1,499 Scala 👤 locationtech Organization 🕐 Atualizado 2026-11-20 📅 Criado 2013-09-30
19
databricks/LearningSparkV2

Este é o repositório do github para Learning Spark: Lightning-Fast Data Analytics [2ª Edição]

databricks
⭐ 1,396 Scala 👤 databricks Organization 🕐 Atualizado 2025-01-28 📅 Criado 2019-02-10
20
spark-examples/pyspark-examples

Exemplos de Pyspark RDD, DataFrame e Dataset na linguagem Python

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 Atualizado 2025-12-07 📅 Criado 2019-11-26
21
graphframes/graphframes

GraphFrames é um pacote para Apache Spark que fornece Grafos baseados em DataFrames

graphframes
⭐ 1,213 Scala 👤 graphframes Organization 🕐 Atualizado 2026-11-12 📅 Criado 2016-01-20
22
youngwookim/awesome-hadoop

Uma lista com curadoria de recursos surpreendentemente incríveis sobre Hadoop e o seu ecossistema

youngwookim
⭐ 1,113 👤 youngwookim User 🕐 Atualizado 2024-05-07 📅 Criado 2014-07-08
23
JohnSnowLabs/spark-nlp-workshop

Exemplos executáveis públicos do uso do NLP da John Snow Labs para Apache Spark.

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 Atualizado 2026-11-17 📅 Criado 2018-08-20
24
mahmoudparsian/data-algorithms-book

MapReduce, Spark, Java e Scala para o Livro de Algoritmos de Dados

mahmoudparsian
⭐ 1,083 Java 👤 mahmoudparsian User 🕐 Atualizado 2024-10-14 📅 Criado 2014-08-06
26
sparklyr/sparklyr

Interface R para Apache Spark

sparklyr
⭐ 970 R 👤 sparklyr Organization 🕐 Atualizado 2026-11-09 📅 Criado 2016-05-20
27
dbpedia/extraction-framework

O software utilizado para extrair dados estruturados da Wikipedia

dbpedia
⭐ 950 Scala 👤 dbpedia Organization 🕐 Atualizado 2026-11-13 📅 Criado 2013-02-07
28
microsoft/Mobius

Vinculação e extensões de linguagem C# e F# para Apache Spark

microsoft
⭐ 948 C# 👤 microsoft Organization 🕐 Atualizado 2025-12-11 📅 Criado 2015-10-27
29
aloneguid/parquet-dotnet

Implementação totalmente gerenciada do Apache Parquet

aloneguid
⭐ 912 C# 👤 aloneguid User 🕐 Atualizado 2026-10-26 📅 Criado 2019-12-12
30
pyspark-ai/pyspark-ai

SDK de Inglês para Apache Spark

pyspark-ai
⭐ 879 Python 👤 pyspark-ai Organization 🕐 Atualizado 2026-10-27 📅 Criado 2023-04-27
31
LucaCanali/sparkMeasure

Este repositório contém o código de desenvolvimento do sparkMeasure, uma biblioteca de análise de desempenho e solução de problemas do Apache Spark. Ele simplifica a coleta, agregação e exportação de métricas de tarefas/etapas do Spark, e é projetado para uso prático por desenvolvedores e engenheiros de dados em fluxos de trabalho de análise interativa, testes e monitoramento de produção.

LucaCanali
⭐ 831 Scala 👤 LucaCanali User 🕐 Atualizado 2026-10-16 📅 Criado 2017-03-16
32
awslabs/python-deequ

API Python para Deequ

awslabs
⭐ 826 Jupyter Notebook 👤 awslabs Organization 🕐 Atualizado 2026-10-24 📅 Criado 2020-11-09
33
databricks/tensorframes

[DEPRECATED] Wrapper do Tensorflow para DataFrames no Apache Spark

databricks
⭐ 745 Scala 👤 databricks Organization 🕐 Atualizado 2024-07-30 📅 Criado 2016-03-04
34
databricks/devrel

Este repositório contém os notebooks e as apresentações que usamos para nossos Databricks Tech Talks

databricks
⭐ 734 HTML 👤 databricks Organization 🕐 Atualizado 2025-01-06 📅 Criado 2020-04-03
35
muaimingjun/bigData

Biblioteca de Projetos de Big Data

muaimingjun
⭐ 734 Python 👤 muaimingjun User 🕐 Atualizado 2025-05-07 📅 Criado 2019-10-14
36
awslabs/aws-glue-libs

As AWS Glue Libraries são adições e melhorias ao Spark para operações de ETL.

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 Atualizado 2026-10-30 📅 Criado 2017-08-11
37
mrpowers-io/quinn

Métodos PySpark para aprimorar a produtividade do desenvolvedor 📣 👯 🎉

mrpowers-io
⭐ 691 Python 👤 mrpowers-io Organization 🕐 Atualizado 2026-10-25 📅 Criado 2017-09-15
38
databricks/reference-apps

Aplicações de referência do Spark

databricks
⭐ 652 Scala 👤 databricks Organization 🕐 Atualizado 2024-10-03 📅 Criado 2014-08-19
39
nchammas/flintrock

Uma ferramenta de linha de comando para iniciar clusters Apache Spark.

nchammas
⭐ 651 Python 👤 nchammas User 🕐 Atualizado 2024-12-13 📅 Criado 2015-06-04
40
infoslack/awesome-kafka

Uma lista sobre Apache Kafka

infoslack
⭐ 595 👤 infoslack User 🕐 Atualizado 2026-05-05 📅 Criado 2016-04-29
41
openscoring/openscoring

Serviço web REST para pontuação verdadeira em tempo real (<1 ms) de modelos Scikit-Learn, R e Apache Spark

openscoring
⭐ 587 Java 👤 openscoring Organization 🕐 Atualizado 2026-02-02 📅 Criado 2013-04-02
42
spark-examples/spark-scala-examples

Este projeto fornece exemplos de Apache Spark SQL, RDD, DataFrame e Dataset na linguagem Scala

spark-examples
⭐ 567 Scala 👤 spark-examples Organization 🕐 Atualizado 2024-03-20 📅 Criado 2019-11-26
43
cas-bigdatalab/piflow

πflow é um mecanismo de fluxo de big data com suporte a spark

cas-bigdatalab
⭐ 541 Python 👤 cas-bigdatalab Organization 🕐 Atualizado 2026-11-20 📅 Criado 2018-05-03
44
LearningJournal/Spark-Programming-In-Python

Apache Spark 3 - Programação Spark em Python para iniciantes

LearningJournal
⭐ 510 Python 👤 LearningJournal User 🕐 Atualizado 2024-07-25 📅 Criado 2020-05-31

Perguntas Frequentes

1

Qual é o repositório de #apache-spark mais popular no GitHub?

O projeto de código aberto de #apache-spark mais bem classificado no GitHub é mlflow/mlflow, com 28,920 estrelas. A plataforma de engenharia de IA open source para agentes, LLMs e modelos de ML. O MLflow permite que equipes de todos os tamanhos depurem, avaliem, monitorem e otimizem aplicações de IA de qualidade de produção enquanto controlam custos e gerenciam o acesso a modelos e dados.

2

Quais linguagens de programação são mais usadas nos repositórios de #apache-spark?

Entre os projetos de #apache-spark mais bem classificados no GitHub, as linguagens de programação mais comuns são Scala, Python, Java, Jupyter Notebook.

3

Como é calculada a classificação dos repositórios de #apache-spark?

Acompanhamos 44 repositórios ativos de código aberto marcados com #apache-spark (com mais de 500 estrelas), totalizando 97,788 estrelas e uma média de 2,222 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.