#pyspark 仓库
探索 35 个标记为 #pyspark 的活跃开源 GitHub 仓库,它们累计获得 60,070 个 Star(平均每个项目 1,716 个)。该主题的领先项目是 ibis-project/ibis,拥有 6,705 个 Star。
共 35 个仓库
Petastorm 库支持在 Apache Parquet 格式的数据集上,对深度学习模型进行单机或分布式训练和评估。它支持 Tensorflow、Pytorch 和 PySpark 等机器学习框架,并可从纯 Python 代码中使用。
Apache Spark & Python (pySpark) 用于大数据分析和机器学习的教程,以 IPython / Jupyter 笔记本形式
80+ DevOps 和数据 CLI 工具 - AWS、GCP、GCF Python Cloud Functions、日志匿名化器、Spark、Hadoop、HBase、Hive、Impala、Linux、Docker、Spark 数据转换器和验证器 (Avro/Parquet/JSON/CSV/INI/XML/YAML)、Travis CI、AWS CloudFormation、Elasticsearch、Solr 等。
Scriptis 用于交互式数据分析,支持脚本开发(SQL、PySpark、HiveQL)、任务提交(Spark、Hive)、UDF、函数、资源管理和智能诊断。
通过在 Docker 上使用 JupyterLab 界面构建您自己的集群,来学习使用 Scala、Python (PySpark) 和 R (SparkR) 中的 Apache Spark。 :zap:
快速为您的项目生成相关的合成数据。Databricks Labs 合成数据生成器(又称 `dbldatagen`)可用于在 Databricks 环境中生成大型模拟/合成数据集,用于测试、概念验证(POC)及其他用途,包括 Delta Live Tables 管道。
常见问题解答
GitHub 上最受欢迎的 #pyspark 仓库是什么?
GitHub 上排名第一的开源 #pyspark 项目是 ibis-project/ibis,拥有 6,705 个 Star。便携式 Python 数据框库
#pyspark 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #pyspark 项目中,最常见的编程语言是 Python, Scala, Jupyter Notebook, Java。
#pyspark 仓库的排名是如何计算的?
我们跟踪了 35 个标记为 #pyspark 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 60,070 个 Star,平均每个仓库拥有 1,716 个 Star。排名每日根据 GitHub API 更新。