#pyspark Repositórios
Descubra 35 repositórios ativos de código aberto no GitHub marcados com #pyspark, acumulando um total de 60,070 estrelas (uma média de 1,716 por projeto). O líder deste tópico é ibis-project/ibis, com 6,705 estrelas.
35 repositórios no total
Biblioteca Python de aprendizado de máquina simples e distribuída que porta algoritmos de ML para Spark
Substituição drop-in do Apache Spark escrita em Rust, unificando processamento em lotes, processamento de stream e cargas de trabalho de IA intensivas em computação.
O Apache Linkis constrói uma camada de middleware de computação para facilitar a conexão, governança e orquestração entre as aplicações superiores e os motores de dados subjacentes.
Uma lista selecionada de pacotes e recursos incríveis do Apache Spark.
A biblioteca Petastorm permite o treinamento e avaliação de modelos de deep learning em máquina única ou distribuída a partir de conjuntos de dados no formato Apache Parquet. Ela suporta frameworks de ML como Tensorflow, Pytorch e PySpark e pode ser usada a partir de código Python puro.
Camada de compatibilidade leve e extensível entre bibliotecas de dataframes!
Tutoriais de Apache Spark e Python (pySpark) para Análise de Big Data e Machine Learning como notebooks IPython / Jupyter
:truck: Fluxos de Trabalho Ágeis de Preparação de Dados facilitados com Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark
Magias e kernels do Jupyter para trabalhar com clusters Spark remotos
GraphFrames é um pacote para Apache Spark que fornece Grafos baseados em DataFrames
Exemplos executáveis públicos do uso do NLP da John Snow Labs para Apache Spark.
MapReduce, Spark, Java e Scala para o Livro de Algoritmos de Dados
Crie automaticamente índices Faiss knn com os parâmetros de pesquisa de similaridade mais ideais.
Mais de 80 Ferramentas CLI de DevOps e Dados - AWS, GCP, GCF Python Cloud Functions, Anonimizador de Logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Conversores e Validadores de Dados Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr etc.
Framework Python para a construção de pipelines de dados eficientes. Promove a modularidade e a colaboração, permitindo a criação de pipelines complexos a partir de componentes simples e reutilizáveis.
Scriptis é para análise interativa de dados com desenvolvimento de scripts (SQL, Pyspark, HiveQL), submissão de tarefas (Spark, Hive), UDF, função, gerenciamento de recursos e diagnóstico inteligente.
As AWS Glue Libraries são adições e melhorias ao Spark para operações de ETL.
Comparação entre DataFrames Pandas, Polars, Spark e Snowpark para humanos e muito mais!
Aprenda Apache Spark em Scala, Python (PySpark) e R (SparkR) construindo seu próprio cluster com uma interface JupyterLab no Docker. :zap:
Gere rapidamente dados sintéticos relevantes para seus projetos. O gerador de dados sintéticos do Databricks Labs (também conhecido como `dbldatagen`) pode ser usado para gerar grandes conjuntos de dados simulados ou sintéticos para testes, provas de conceito (POCs) e outras finalidades em ambientes Databricks, incluindo pipelines do Delta Live Tables.
Perguntas Frequentes
Qual é o repositório de #pyspark mais popular no GitHub?
O projeto de código aberto de #pyspark mais bem classificado no GitHub é ibis-project/ibis, com 6,705 estrelas. a biblioteca portátil de dataframes Python
Quais linguagens de programação são mais usadas nos repositórios de #pyspark?
Entre os projetos de #pyspark mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Scala, Jupyter Notebook, Java.
Como é calculada a classificação dos repositórios de #pyspark?
Acompanhamos 35 repositórios ativos de código aberto marcados com #pyspark (com mais de 500 estrelas), totalizando 60,070 estrelas e uma média de 1,716 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.