#pyspark Repositories
Entdecke 35 aktive Open-Source-GitHub-Repositories, die mit #pyspark getaggt sind und insgesamt 60,070 Sterne gesammelt haben (durchschnittlich 1,716 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist ibis-project/ibis mit 6,705 Sternen.
Insgesamt 35 Repositories
Einfache und verteilte Machine-Learning-Python-Bibliothek zur Portierung von ML-Algorithmen für Spark
Drop-in-Ersatz für Apache Spark, geschrieben in Rust, der Batch-Verarbeitung, Stream-Verarbeitung und rechenintensive KI-Workloads vereint.
Apache Linkis baut eine Berechnungsmiddleware-Schicht auf, um die Verbindung, Governance und Orchestrierung zwischen den oberen Anwendungen und den zugrunde liegenden Daten-Engines zu erleichtern.
Eine kuratierte Liste von hervorragenden Apache Spark-Paketen und -Ressourcen.
Die Petastorm-Bibliothek ermöglicht das Training und die Evaluierung von Deep-Learning-Modellen auf einzelnen Rechnern oder verteilt aus Datensätzen im Apache Parquet-Format. Sie unterstützt ML-Frameworks wie Tensorflow, Pytorch und PySpark und kann aus reinem Python-Code verwendet werden.
Leichte und erweiterbare Kompatibilitätsschicht zwischen Dataframe-Bibliotheken!
Apache Spark & Python (pySpark) Tutorials für Big Data Analysis und Machine Learning als IPython / Jupyter Notebooks
:truck: Agile Data Preparation Workflows leicht gemacht mit Pandas, Dask, cuDF, Dask-cuDF, Vaex und PySpark
Jupyter-Magics und -Kernels für die Arbeit mit remote Spark-Clustern
GraphFrames ist ein Paket für Apache Spark, das DataFrame-basierte Graphen bereitstellt.
Öffentliche ausführbare Beispiele zur Nutzung von John Snow Labs' NLP für Apache Spark.
Erstellen Sie automatisch Faiss knn-Indizes mit den optimalsten Parametern für die Ähnlichkeitssuche.
80+ DevOps- & Data-CLI-Tools - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark Data Converter & Validator (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr usw.
Python-Framework zum Erstellen effizienter Datenpipelines. Es fördert Modularität und Zusammenarbeit und ermöglicht die Erstellung komplexer Pipelines aus einfachen, wiederverwendbaren Komponenten.
Scriptis ist für die interaktive Datenanalyse mit Skriptentwicklung (SQL, PySpark, HiveQL), Task-Submission (Spark, Hive), UDF, Funktionen, Ressourcenmanagement und intelligenter Diagnose.
AWS Glue-Bibliotheken sind Ergänzungen und Erweiterungen zu Spark für ETL-Operationen.
Vergleich von Pandas, Polars, Spark und Snowpark DataFrame für Menschen und mehr!
Lernen Sie Apache Spark in Scala, Python (PySpark) und R (SparkR), indem Sie Ihren eigenen Cluster mit einer JupyterLab-Oberfläche auf Docker erstellen. :zap:
Generieren Sie schnell relevante synthetische Daten für Ihre Projekte. Der synthetische Datengenerator von Databricks Labs (auch `dbldatagen` genannt) kann verwendet werden, um große simulierte bzw. synthetische Datensätze für Tests, Proofs of Concept (POCs) und andere Zwecke in Databricks-Umgebungen zu erzeugen, einschließlich Delta-Live-Tables-Pipelines.
Häufig gestellte Fragen
Welches ist das beliebteste #pyspark-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#pyspark-Projekt auf GitHub ist ibis-project/ibis mit 6,705 Sternen. die tragbare Python-Dataframe-Bibliothek
Welche Programmiersprachen werden in #pyspark-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #pyspark-Projekten auf GitHub sind Python, Scala, Jupyter Notebook, Java die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #pyspark-Repositories berechnet?
Wir verfolgen 35 aktive Open-Source-Repositories, die mit #pyspark getaggt sind (500+ Sterne), mit insgesamt 60,070 Sternen und durchschnittlich 1,716 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.