#pyspark Dépôts
Découvrez 35 dépôts GitHub open source actifs associés à #pyspark, cumulant 60,070 étoiles au total (soit une moyenne de 1,716 étoiles par projet). Le projet en tête de ce thème est ibis-project/ibis, avec 6,705 étoiles.
35 dépôts au total
Bibliothèque Python d'apprentissage automatique simple et distribué portant des algorithmes ML pour Spark
Remplacement drop-in d'Apache Spark écrit en Rust, unifiant le traitement par lots, le traitement en flux et les charges de travail IA intensives en calcul.
Apache Linkis construit une couche de middleware de calcul pour faciliter la connexion, la gouvernance et l'orchestration entre les applications supérieures et les moteurs de données sous-jacents.
La bibliothèque Petastorm permet l'entraînement et l'évaluation de modèles d'apprentissage profond sur une seule machine ou distribués à partir de jeux de données au format Apache Parquet. Elle prend en charge les frameworks ML tels que Tensorflow, Pytorch et PySpark et peut être utilisée à partir de code Python pur.
Couche de compatibilité légère et extensible entre les bibliothèques de dataframes !
Tutoriels Apache Spark & Python (pySpark) pour l'analyse de Big Data et l'apprentissage automatique sous forme de carnets IPython / Jupyter
:truck: Flux de travail de préparation de données agiles rendus faciles avec Pandas, Dask, cuDF, Dask-cuDF, Vaex et PySpark
Magics et kernels Jupyter pour travailler avec des clusters Spark distants
PySpark-Tutorial fournit des algorithmes de base à l'aide de PySpark
GraphFrames est un package pour Apache Spark qui fournit des graphes basés sur DataFrame.
Exemples publics exécutables d'utilisation de NLP de John Snow Labs pour Apache Spark.
Livre : MapReduce, Spark, Java et Scala pour les algorithmes de données
Sparkling Water fournit la fonctionnalité H2O à l'intérieur du cluster Spark
Créez automatiquement des indices knn Faiss avec les paramètres de recherche de similarité les plus optimaux.
80+ Outils CLI DevOps & Données - AWS, GCP, Fonctions Cloud Python GCF, Anonymiseur de Logs, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Convertisseurs et Validateurs de Données Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr etc.
Framework Python pour la création de pipelines de données efficaces. Il favorise la modularité et la collaboration, permettant la création de pipelines complexes à partir de composants simples et réutilisables.
Scriptis est destiné à l'analyse de données interactive avec développement de scripts (SQL, PySpark, HiveQL), soumission de tâches (Spark, Hive), UDF, fonctions, gestion des ressources et diagnostic intelligent.
Les bibliothèques AWS Glue sont des ajouts et des améliorations à Spark pour les opérations ETL.
Comparaison de Pandas, Polars, Spark et Snowpark DataFrame pour les humains et plus !
Apprenez Apache Spark en Scala, Python (PySpark) et R (SparkR) en construisant votre propre cluster avec une interface JupyterLab sur Docker. :zap:
Générez rapidement des données synthétiques pertinentes pour vos projets. Le générateur de données synthétiques de Databricks Labs (également appelé `dbldatagen`) peut servir à produire de grands jeux de données simulés ou synthétiques pour des tests, des preuves de concept (POC) et d’autres usages dans les environnements Databricks, y compris les pipelines Delta Live Tables.
Foire aux questions
Quel est le dépôt #pyspark le plus populaire sur GitHub ?
Le projet #pyspark open source le mieux classé sur GitHub est ibis-project/ibis, avec 6,705 étoiles. la bibliothèque dataframe Python portable
Quels langages de programmation sont les plus utilisés dans les dépôts #pyspark ?
Parmi les projets #pyspark les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Scala, Jupyter Notebook, Java.
Comment le classement des dépôts #pyspark est-il calculé ?
Nous suivons 35 dépôts open source actifs associés à #pyspark (500+ étoiles), totalisant 60,070 étoiles, avec une moyenne de 1,716 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.