Git Stars Git Stars

#spark Repositórios

126
Total de Repositórios
513,269
Total de estrelas
4,073
Média de Estrelas/Repositório

126 repositórios no total

51
elastic/elasticsearch-hadoop

:elephant: Elasticsearch, com pesquisa e análise em tempo real, integrado nativamente com Hadoop

elastic
⭐ 1,966 Java 👤 elastic Organization 🕐 Atualizado 2026-11-21 📅 Criado 2013-03-11
52
apache/cassandra-spark-connector

Conector do Apache Spark para Apache Cassandra

apache
⭐ 1,948 Scala 👤 apache Organization 🕐 Atualizado 2025-04-29 📅 Criado 2014-06-27
53
apache/auron

O Apache Auron é um acelerador para mecanismos de big data que utiliza execução vetorizada nativa para acelerar o processamento de consultas.

apache
⭐ 1,849 Rust 👤 apache Organization 🕐 Atualizado 2026-11-20 📅 Criado 2021-06-28
54
collabH/bigdata-growth

O repositório de conhecimento de big data envolve modelagem de data warehouse, computação em tempo real, big data, plataforma de dados (data middle office), design de sistemas, Java e algoritmos.

collabH
⭐ 1,838 Python 👤 collabH User 🕐 Atualizado 2026-04-18 📅 Criado 2020-06-10
55
OBenner/data-engineering-interview-questions

Mais de 2000+ perguntas de entrevista para Engenheiros de Dados.

OBenner
⭐ 1,815 Python 👤 OBenner User 🕐 Atualizado 2026-01-13 📅 Criado 2021-08-08
56
zhonghuasheng/Tutorial

Resumo da Arquitetura do Conhecimento Full Stack de Backend (Java Golang)

zhonghuasheng
⭐ 1,756 Shell 👤 zhonghuasheng User 🕐 Atualizado 2025-07-20 📅 Criado 2016-01-23
57
apachecn/.github

Organização Open Source ApacheCN: Anúncios, Introdução, Membros, Atividades, Canais de Comunicação

apachecn
⭐ 1,750 CSS 👤 apachecn Organization 🕐 Atualizado 2026-11-02 📅 Criado 2018-07-19
58
strapdata/elassandra

Elassandra = Elasticsearch + Apache Cassandra

strapdata
⭐ 1,718 Java 👤 strapdata Organization 🕐 Atualizado 2026-05-17 📅 Criado 2015-08-22
59
jadianes/spark-py-notebooks

Tutoriais de Apache Spark e Python (pySpark) para Análise de Big Data e Machine Learning como notebooks IPython / Jupyter

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 Atualizado 2024-03-16 📅 Criado 2015-05-06
60
almond-sh/almond

Um kernel Scala para Jupyter

almond-sh
⭐ 1,631 Scala 👤 almond-sh Organization 🕐 Atualizado 2026-11-19 📅 Criado 2015-03-10
61
japila-books/apache-spark-internals

Os Internos do Apache Spark

japila-books
⭐ 1,553 👤 japila-books Organization 🕐 Atualizado 2026-10-10 📅 Criado 2015-08-31
62
combust/mleap

MLeap: Implante Pipelines de ML em Produção

combust
⭐ 1,544 Scala 👤 combust Organization 🕐 Atualizado 2026-11-09 📅 Criado 2016-08-23
63
hi-primus/optimus

:truck: Fluxos de Trabalho Ágeis de Preparação de Dados facilitados com Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 Atualizado 2024-12-02 📅 Criado 2017-07-13
64
projectnessie/nessie

Nessie: Catálogo Transacional para Data Lakes com semântica semelhante à do Git

projectnessie
⭐ 1,533 Java 👤 projectnessie Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-04-09
65
apache/carbondata

Solução de armazenamento de dados de alto desempenho

apache
⭐ 1,452 Scala 👤 apache Organization 🕐 Atualizado 2026-10-02 📅 Criado 2016-06-28
66
databricks/LearningSparkV2

Este é o repositório do github para Learning Spark: Lightning-Fast Data Analytics [2ª Edição]

databricks
⭐ 1,396 Scala 👤 databricks Organization 🕐 Atualizado 2025-01-28 📅 Criado 2019-02-10
67
HariSekhon/Dockerfiles

Mais de 50 imagens públicas do DockerHub para Docker e Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak

HariSekhon
⭐ 1,382 Shell 👤 HariSekhon User 🕐 Atualizado 2026-02-03 📅 Criado 2016-01-17
68
jupyter-incubator/sparkmagic

Magias e kernels do Jupyter para trabalhar com clusters Spark remotos

jupyter-incubator
⭐ 1,368 Python 👤 jupyter-incubator Organization 🕐 Atualizado 2026-11-20 📅 Criado 2015-09-21
69
apache/datafusion-comet

Acelerador Spark Apache DataFusion Comet

apache
⭐ 1,326 Scala 👤 apache Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-01-15
70
iflytek/datasophon

A próxima geração de especialistas em gestão de big data nativo da nuvem, visa ajudar os usuários a construir rapidamente plataformas nativas da nuvem estáveis, eficientes e escaláveis para big data.

iflytek
⭐ 1,325 Java 👤 iflytek Organization 🕐 Atualizado 2025-07-22 📅 Criado 2022-10-11
71
DTStack/Taier

Taier é uma plataforma de desenvolvimento de big data para submissão, agendamento, operação e manutenção, e exibição de informações de indicadores.

DTStack
⭐ 1,285 Java 👤 DTStack Organization 🕐 Atualizado 2026-11-05 📅 Criado 2021-03-02
72
mahmoudparsian/pyspark-tutorial

PySpark-Tutorial fornece algoritmos básicos usando PySpark

mahmoudparsian
⭐ 1,276 Jupyter Notebook 👤 mahmoudparsian User 🕐 Atualizado 2025-05-26 📅 Criado 2015-03-12
73
zinggAI/zingg

Resolução de entidades, resolução de identidades, gestão de dados mestres e desduplicação em grande escala com IA para pessoas e agentes

zinggAI
⭐ 1,275 Java 👤 zinggAI Organization 🕐 Atualizado 2026-11-03 📅 Criado 2021-08-25
74
graphframes/graphframes

GraphFrames é um pacote para Apache Spark que fornece Grafos baseados em DataFrames

graphframes
⭐ 1,213 Scala 👤 graphframes Organization 🕐 Atualizado 2026-11-12 📅 Criado 2016-01-20
75
apache/amoro

Apache Amoro(incubating) é um sistema de gerenciamento de Lakehouse construído sobre formatos abertos de data lake.

apache
⭐ 1,207 Java 👤 apache Organization 🕐 Atualizado 2026-11-20 📅 Criado 2022-07-14
76
abhishek-ch/around-dataengineering

Um Hub de Conhecimento em Engenharia de Dados e Machine Learning

abhishek-ch
⭐ 1,140 Python 👤 abhishek-ch User 🕐 Atualizado 2024-02-02 📅 Criado 2020-09-18
77
apache/celeborn

Apache Celeborn é um serviço elástico e de alto desempenho para embaralhamento e despejo de dados.

apache
⭐ 1,081 Java 👤 apache Organization 🕐 Atualizado 2026-11-20 📅 Criado 2021-12-10
78
metabrainz/listenbrainz-server

Servidor para o projeto ListenBrainz, incluindo o código front-end (javascript/react) que ele serve e todos os componentes de processamento de dados que o LB utiliza.

metabrainz
⭐ 1,074 Python 👤 metabrainz Organization 🕐 Atualizado 2026-11-21 📅 Criado 2015-09-05
79
bigdatagenomics/adam

ADAM é uma plataforma de análise genômica com formatos de arquivo especializados construídos usando Apache Avro, Apache Spark e Apache Parquet. Licenciado sob Apache 2.

bigdatagenomics
⭐ 1,060 Scala 👤 bigdatagenomics Organization 🕐 Atualizado 2026-03-17 📅 Criado 2013-11-19
80
NVIDIA/cudf-spark

Plugin NVIDIA cuDF para Apache Spark - acelere o Apache Spark com GPUs

NVIDIA
⭐ 1,021 Scala 👤 NVIDIA Organization 🕐 Atualizado 2026-11-21 📅 Criado 2020-05-14
81
deanwampler/spark-scala-tutorial

Um tutorial gratuito para Apache Spark.

deanwampler
⭐ 988 Jupyter Notebook 👤 deanwampler User 🕐 Atualizado 2026-01-05 📅 Criado 2014-05-01
82
h2oai/sparkling-water

O Sparkling Water oferece a funcionalidade do H2O dentro do cluster Spark

h2oai
⭐ 982 Scala 👤 h2oai Organization 🕐 Atualizado 2025-11-05 📅 Criado 2014-10-13
83
sparklyr/sparklyr

Interface R para Apache Spark

sparklyr
⭐ 970 R 👤 sparklyr Organization 🕐 Atualizado 2026-11-09 📅 Criado 2016-05-20
84
data-prep-kit/data-prep-kit

Projeto de código aberto para preparação de dados para aplicações GenAI

data-prep-kit
⭐ 968 HTML 👤 data-prep-kit Organization 🕐 Atualizado 2026-09-29 📅 Criado 2024-04-08
85
delta-io/delta-sharing

Um protocolo aberto para compartilhamento seguro de dados

delta-io
⭐ 965 Scala 👤 delta-io Organization 🕐 Atualizado 2026-11-21 📅 Criado 2021-04-08
86
apache/livy

Apache Livy é uma interface REST de código aberto para interagir com o Apache Spark a partir de qualquer lugar.

apache
⭐ 962 Scala 👤 apache Organization 🕐 Atualizado 2026-10-20 📅 Criado 2017-06-25
87
microsoft/Mobius

Vinculação e extensões de linguagem C# e F# para Apache Spark

microsoft
⭐ 948 C# 👤 microsoft Organization 🕐 Atualizado 2025-12-11 📅 Criado 2015-10-27
88
RedisLabs/spark-redis

Um conector para Spark que permite ler e escrever de/para o cluster Redis

RedisLabs
⭐ 944 Scala 👤 RedisLabs Organization 🕐 Atualizado 2026-10-12 📅 Criado 2015-08-16
89
XHToken/Spark-X2.6

Série de modelos abertos Spark-x2.6. Expandindo os limites das capacidades agênticas dos modelos no dispositivo

XHToken
⭐ 927 👤 XHToken Organization 🕐 Atualizado 2026-11-04 📅 Criado 2026-08-24
90
typelevel/frameless

Tipos expressivos para Spark.

typelevel
⭐ 898 Scala 👤 typelevel Organization 🕐 Atualizado 2026-10-28 📅 Criado 2015-03-28
91
pingcap/tispark

TiSpark é construído para executar o Apache Spark sobre o TiDB/TiKV

pingcap
⭐ 889 Scala 👤 pingcap Organization 🕐 Atualizado 2026-08-20 📅 Criado 2017-05-02
92
ohenley/awesome-ada

Uma lista selecionada de recursos incríveis relacionados às linguagens de programação Ada e SPARK

ohenley
⭐ 881 👤 ohenley User 🕐 Atualizado 2026-11-14 📅 Criado 2018-10-24
93
awslabs/data-on-eks

DoEKS é uma ferramenta para construir, implantar e escalar Plataformas de Dados no Amazon EKS

awslabs
⭐ 863 Shell 👤 awslabs Organization 🕐 Atualizado 2026-11-21 📅 Criado 2022-09-25
94
LucaCanali/sparkMeasure

Este repositório contém o código de desenvolvimento do sparkMeasure, uma biblioteca de análise de desempenho e solução de problemas do Apache Spark. Ele simplifica a coleta, agregação e exportação de métricas de tarefas/etapas do Spark, e é projetado para uso prático por desenvolvedores e engenheiros de dados em fluxos de trabalho de análise interativa, testes e monitoramento de produção.

LucaCanali
⭐ 831 Scala 👤 LucaCanali User 🕐 Atualizado 2026-10-16 📅 Criado 2017-03-16
95
HariSekhon/DevOps-Python-tools

Mais de 80 Ferramentas CLI de DevOps e Dados - AWS, GCP, GCF Python Cloud Functions, Anonimizador de Logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Conversores e Validadores de Dados Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr etc.

HariSekhon
⭐ 824 Python 👤 HariSekhon User 🕐 Atualizado 2026-02-03 📅 Criado 2015-10-27
96
WeBankFinTech/Scriptis

Scriptis é para análise interativa de dados com desenvolvimento de scripts (SQL, Pyspark, HiveQL), submissão de tarefas (Spark, Hive), UDF, função, gerenciamento de recursos e diagnóstico inteligente.

WeBankFinTech
⭐ 812 Vue 👤 WeBankFinTech Organization 🕐 Atualizado 2024-12-11 📅 Criado 2019-07-23
98
cdapio/cdap

Uma estrutura de código aberto para a construção de aplicações de análise de dados.

cdapio
⭐ 791 Java 👤 cdapio Organization 🕐 Atualizado 2026-11-21 📅 Criado 2014-08-02
99
a616567126/GPT-WEB-JAVA

Chatbot de IA baseado em JDK8! WeChat Official Account Midjourney drawing, card password exchange, web support ChatGPT, Midjourney drawing, sd drawing, card password exchange, easy payment, Official Account traffic diversion, email registration🔥

a616567126
⭐ 774 Java 👤 a616567126 User 🕐 Atualizado 2026-11-18 📅 Criado 2023-03-28
100
MigoXLab/dingo

Dingo: Uma Ferramenta Abrangente de Avaliação da Qualidade de Dados, Modelos e Aplicações de IA

MigoXLab
⭐ 771 Python 👤 MigoXLab Organization 🕐 Atualizado 2026-11-19 📅 Criado 2024-12-24