Git Stars Git Stars

#pyspark Repositórios

Descubra 35 repositórios ativos de código aberto no GitHub marcados com #pyspark, acumulando um total de 60,070 estrelas (uma média de 1,716 por projeto). O líder deste tópico é ibis-project/ibis, com 6,705 estrelas.

35
Total de Repositórios
60,070
Total de estrelas
1,716
Média de Estrelas/Repositório

35 repositórios no total

1
ibis-project/ibis

a biblioteca portátil de dataframes Python

ibis-project
⭐ 6,705 Python 👤 ibis-project Organization 🕐 Atualizado 2026-11-20 📅 Criado 2015-04-17
2
microsoft/SynapseML

Biblioteca Python de aprendizado de máquina simples e distribuída que porta algoritmos de ML para Spark

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 Atualizado 2026-11-18 📅 Criado 2017-06-05
3
JohnSnowLabs/spark-nlp

Processamento de Linguagem Natural de Última Geração

JohnSnowLabs
⭐ 4,162 Scala 👤 JohnSnowLabs Organization 🕐 Atualizado 2026-11-14 📅 Criado 2017-09-24
4
databricks/learning-spark

Exemplo de código do livro Learning Spark

databricks
⭐ 3,895 Java 👤 databricks Organization 🕐 Atualizado 2026-06-30 📅 Criado 2014-06-16
5
lakehq/sail

Substituição drop-in do Apache Spark escrita em Rust, unificando processamento em lotes, processamento de stream e cargas de trabalho de IA intensivas em computação.

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 Atualizado 2026-11-21 📅 Criado 2023-12-21
6
apache/linkis

O Apache Linkis constrói uma camada de middleware de computação para facilitar a conexão, governança e orquestração entre as aplicações superiores e os motores de dados subjacentes.

apache
⭐ 3,417 Java 👤 apache Organization 🕐 Atualizado 2026-11-04 📅 Criado 2019-07-23
7
danielbeach/data-engineering-practice

Problemas Práticos de Engenharia de Dados

danielbeach
⭐ 2,706 Python 👤 danielbeach User 🕐 Atualizado 2025-01-08 📅 Criado 2022-02-17
8
awesome-spark/awesome-spark

Uma lista selecionada de pacotes e recursos incríveis do Apache Spark.

awesome-spark
⭐ 1,903 Shell 👤 awesome-spark Organization 🕐 Atualizado 2026-02-27 📅 Criado 2016-02-01
9
uber/petastorm

A biblioteca Petastorm permite o treinamento e avaliação de modelos de deep learning em máquina única ou distribuída a partir de conjuntos de dados no formato Apache Parquet. Ela suporta frameworks de ML como Tensorflow, Pytorch e PySpark e pode ser usada a partir de código Python puro.

uber
⭐ 1,894 Python 👤 uber Organization 🕐 Atualizado 2026-01-02 📅 Criado 2018-06-15
10
narwhals-dev/narwhals

Camada de compatibilidade leve e extensível entre bibliotecas de dataframes!

narwhals-dev
⭐ 1,754 Python 👤 narwhals-dev Organization 🕐 Atualizado 2026-11-21 📅 Criado 2024-02-19
11
jadianes/spark-py-notebooks

Tutoriais de Apache Spark e Python (pySpark) para Análise de Big Data e Machine Learning como notebooks IPython / Jupyter

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 Atualizado 2024-03-16 📅 Criado 2015-05-06
12
hi-primus/optimus

:truck: Fluxos de Trabalho Ágeis de Preparação de Dados facilitados com Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 Atualizado 2024-12-02 📅 Criado 2017-07-13
14
spark-examples/pyspark-examples

Exemplos de Pyspark RDD, DataFrame e Dataset na linguagem Python

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 Atualizado 2025-12-07 📅 Criado 2019-11-26
15
jupyter-incubator/sparkmagic

Magias e kernels do Jupyter para trabalhar com clusters Spark remotos

jupyter-incubator
⭐ 1,368 Python 👤 jupyter-incubator Organization 🕐 Atualizado 2026-11-20 📅 Criado 2015-09-21
16
logicalclocks/hopsworks

Hopsworks - Plataforma de IA intensiva em dados com um Feature Store

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 Atualizado 2025-02-10 📅 Criado 2018-07-26
17
mahmoudparsian/pyspark-tutorial

PySpark-Tutorial fornece algoritmos básicos usando PySpark

mahmoudparsian
⭐ 1,276 Jupyter Notebook 👤 mahmoudparsian User 🕐 Atualizado 2025-05-26 📅 Criado 2015-03-12
18
graphframes/graphframes

GraphFrames é um pacote para Apache Spark que fornece Grafos baseados em DataFrames

graphframes
⭐ 1,213 Scala 👤 graphframes Organization 🕐 Atualizado 2026-11-12 📅 Criado 2016-01-20
19
JohnSnowLabs/spark-nlp-workshop

Exemplos executáveis públicos do uso do NLP da John Snow Labs para Apache Spark.

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 Atualizado 2026-11-17 📅 Criado 2018-08-20
20
mahmoudparsian/data-algorithms-book

MapReduce, Spark, Java e Scala para o Livro de Algoritmos de Dados

mahmoudparsian
⭐ 1,083 Java 👤 mahmoudparsian User 🕐 Atualizado 2024-10-14 📅 Criado 2014-08-06
21
h2oai/sparkling-water

O Sparkling Water oferece a funcionalidade do H2O dentro do cluster Spark

h2oai
⭐ 982 Scala 👤 h2oai Organization 🕐 Atualizado 2025-11-05 📅 Criado 2014-10-13
22
criteo/autofaiss

Crie automaticamente índices Faiss knn com os parâmetros de pesquisa de similaridade mais ideais.

criteo
⭐ 906 Python 👤 criteo Organization 🕐 Atualizado 2025-11-04 📅 Criado 2021-04-28
23
PatrikHlobil/Pandas-Bokeh

Backend de Plotagem Bokeh para Pandas e GeoPandas

PatrikHlobil
⭐ 889 Python 👤 PatrikHlobil User 🕐 Atualizado 2024-04-10 📅 Criado 2018-11-23
24
pyspark-ai/pyspark-ai

SDK de Inglês para Apache Spark

pyspark-ai
⭐ 879 Python 👤 pyspark-ai Organization 🕐 Atualizado 2026-10-27 📅 Criado 2023-04-27
25
awslabs/python-deequ

API Python para Deequ

awslabs
⭐ 826 Jupyter Notebook 👤 awslabs Organization 🕐 Atualizado 2026-10-24 📅 Criado 2020-11-09
26
HariSekhon/DevOps-Python-tools

Mais de 80 Ferramentas CLI de DevOps e Dados - AWS, GCP, GCF Python Cloud Functions, Anonimizador de Logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Conversores e Validadores de Dados Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr etc.

HariSekhon
⭐ 824 Python 👤 HariSekhon User 🕐 Atualizado 2026-02-03 📅 Criado 2015-10-27
27
Nike-Inc/koheesio

Framework Python para a construção de pipelines de dados eficientes. Promove a modularidade e a colaboração, permitindo a criação de pipelines complexos a partir de componentes simples e reutilizáveis.

Nike-Inc
⭐ 818 Python 👤 Nike-Inc Organization 🕐 Atualizado 2026-10-17 📅 Criado 2024-05-06
28
WeBankFinTech/Scriptis

Scriptis é para análise interativa de dados com desenvolvimento de scripts (SQL, Pyspark, HiveQL), submissão de tarefas (Spark, Hive), UDF, função, gerenciamento de recursos e diagnóstico inteligente.

WeBankFinTech
⭐ 812 Vue 👤 WeBankFinTech Organization 🕐 Atualizado 2024-12-11 📅 Criado 2019-07-23
29
MrPowers/chispa

Métodos de teste PySpark com mensagens de erro bonitas

MrPowers
⭐ 778 Python 👤 MrPowers User 🕐 Atualizado 2026-11-20 📅 Criado 2019-03-19
30
databricks/tensorframes

[DEPRECATED] Wrapper do Tensorflow para DataFrames no Apache Spark

databricks
⭐ 745 Scala 👤 databricks Organization 🕐 Atualizado 2024-07-30 📅 Criado 2016-03-04
31
awslabs/aws-glue-libs

As AWS Glue Libraries são adições e melhorias ao Spark para operações de ETL.

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 Atualizado 2026-10-30 📅 Criado 2017-08-11
32
mrpowers-io/quinn

Métodos PySpark para aprimorar a produtividade do desenvolvedor 📣 👯 🎉

mrpowers-io
⭐ 691 Python 👤 mrpowers-io Organization 🕐 Atualizado 2026-10-25 📅 Criado 2017-09-15
33
capitalone/datacompy

Comparação entre DataFrames Pandas, Polars, Spark e Snowpark para humanos e muito mais!

capitalone
⭐ 669 Python 👤 capitalone Organization 🕐 Atualizado 2026-11-16 📅 Criado 2018-03-23
34
cluster-apps-on-docker/spark-standalone-cluster-on-docker

Aprenda Apache Spark em Scala, Python (PySpark) e R (SparkR) construindo seu próprio cluster com uma interface JupyterLab no Docker. :zap:

cluster-apps-on-docker
⭐ 510 Jupyter Notebook 👤 cluster-apps-on-docker Organization 🕐 Atualizado 2025-11-07 📅 Criado 2020-07-03
35
databrickslabs/dbldatagen

Gere rapidamente dados sintéticos relevantes para seus projetos. O gerador de dados sintéticos do Databricks Labs (também conhecido como `dbldatagen`) pode ser usado para gerar grandes conjuntos de dados simulados ou sintéticos para testes, provas de conceito (POCs) e outras finalidades em ambientes Databricks, incluindo pipelines do Delta Live Tables.

databrickslabs
⭐ 506 Python 👤 databrickslabs Organization 🕐 Atualizado 2026-10-26 📅 Criado 2019-07-23

Perguntas Frequentes

1

Qual é o repositório de #pyspark mais popular no GitHub?

O projeto de código aberto de #pyspark mais bem classificado no GitHub é ibis-project/ibis, com 6,705 estrelas. a biblioteca portátil de dataframes Python

2

Quais linguagens de programação são mais usadas nos repositórios de #pyspark?

Entre os projetos de #pyspark mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Scala, Jupyter Notebook, Java.

3

Como é calculada a classificação dos repositórios de #pyspark?

Acompanhamos 35 repositórios ativos de código aberto marcados com #pyspark (com mais de 500 estrelas), totalizando 60,070 estrelas e uma média de 1,716 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.