#pyspark Repository
Scopri 35 repository GitHub open source attivi contrassegnati con #pyspark, che raccolgono un totale di 60,070 stelle (con una media di 1,716 stelle per progetto). Il progetto leader di questo argomento è ibis-project/ibis, con 6,705 stelle.
35 repository in totale
Libreria Python di apprendimento automatico semplice e distribuito che porta gli algoritmi ML su Spark
Sostituto drop-in di Apache Spark scritto in Rust, che unifica l'elaborazione batch, l'elaborazione in streaming e i carichi di lavoro AI ad alta intensità computazionale.
Apache Linkis costruisce un livello di middleware computazionale per facilitare la connessione, la governance e l'orchestrazione tra le applicazioni superiori e i motori di dati sottostanti.
La libreria Petastorm consente l'addestramento e la valutazione di modelli di deep learning su singola macchina o distribuiti da set di dati in formato Apache Parquet. Supporta framework ML come Tensorflow, Pytorch e PySpark e può essere utilizzata da codice Python puro.
Tutorial Apache Spark & Python (pySpark) per l'Analisi Big Data e Machine Learning come notebook IPython / Jupyter
:truck: Flussi di lavoro di preparazione dati agili resi facili con Pandas, Dask, cuDF, Dask-cuDF, Vaex e PySpark
GraphFrames è un pacchetto per Apache Spark che fornisce grafi basati su DataFrame.
Esempi pubblici eseguibili di utilizzo di NLP di John Snow Labs per Apache Spark.
Crea automaticamente indici Faiss knn con i parametri di ricerca della somiglianza più ottimali.
80+ Strumenti CLI DevOps & Data - AWS, GCP, Funzioni Cloud Python GCF, Anonimizzatore Log, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Convertitori e Validatori Dati Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr ecc.
Framework Python per la creazione di pipeline di dati efficienti. Promuove modularità e collaborazione, consentendo la creazione di pipeline complesse da componenti semplici e riutilizzabili.
Scriptis è per l'analisi interattiva dei dati con sviluppo di script (SQL, PySpark, HiveQL), invio di task (Spark, Hive), UDF, funzioni, gestione delle risorse e diagnosi intelligente.
Le librerie AWS Glue sono aggiunte e miglioramenti a Spark per le operazioni ETL.
Impara Apache Spark in Scala, Python (PySpark) e R (SparkR) costruendo il tuo cluster con un'interfaccia JupyterLab su Docker. :zap:
Genera rapidamente dati sintetici pertinenti per i tuoi progetti. Il generatore di dati sintetici di Databricks Labs (noto anche come `dbldatagen`) può essere utilizzato per generare grandi set di dati simulati o sintetici per test, proof of concept (POC) e altri usi negli ambienti Databricks, incluse le pipeline Delta Live Tables.
Domande frequenti
Qual è il repository #pyspark più popolare su GitHub?
Il progetto open source #pyspark più alto in classifica su GitHub è ibis-project/ibis, con 6,705 stelle. la libreria dataframe Python portatile
Quali linguaggi di programmazione sono più utilizzati nei repository #pyspark?
Tra i progetti #pyspark più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Scala, Jupyter Notebook, Java.
Come viene calcolata la classifica dei repository #pyspark?
Monitoriamo 35 repository open source attivi contrassegnati con #pyspark (500+ stelle), per un totale di 60,070 stelle e una media di 1,716 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.