#pyspark リポジトリ
#pysparkのタグが付いた、GitHub上の35件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は60,070個で、プロジェクトあたりの平均は1,716個です。このトピックをリードしているのは、6,705個のスターを獲得しているibis-project/ibisです。
リポジトリ合計35件
Petastorm ライブラリは、Apache Parquet 形式のデータセットからディープラーニングモデルの単一マシンまたは分散トレーニングと評価を可能にします。Tensorflow、Pytorch、PySpark などの ML フレームワークをサポートし、純粋な Python コードから使用できます。
Apache Spark & Python (pySpark) のビッグデータ分析と機械学習のためのチュートリアル、IPython / Jupyter ノートブックとして
80以上の DevOps & データ CLI ツール - AWS、GCP、GCF Python Cloud Functions、ログ匿名化ツール、Spark、Hadoop、HBase、Hive、Impala、Linux、Docker、Spark データ コンバーター & バリデータ (Avro/Parquet/JSON/CSV/INI/XML/YAML)、Travis CI、AWS CloudFormation、Elasticsearch、Solr など。
効率的なデータパイプラインを構築するためのPythonフレームワーク。モジュール性とコラボレーションを促進し、シンプルで再利用可能なコンポーネントから複雑なパイプラインを作成できるようにします。
Scriptis は、スクリプト開発(SQL、PySpark、HiveQL)、タスク送信(Spark、Hive)、UDF、関数、リソース管理、およびインテリジェント診断によるインタラクティブなデータ分析用です。
Docker上でJupyterLabインターフェースを備えた独自のクラスターを構築することで、Scala、Python(PySpark)、R(SparkR)でApache Sparkを学習します。 :zap:
プロジェクトに適した合成データをすばやく生成できます。Databricks Labs の合成データジェネレーター(`dbldatagen` とも呼ばれます)は、Databricks 環境で、テストや概念実証(POC)などに利用できる大規模なシミュレーションデータ/合成データセットを生成するために使用できます。Delta Live Tables のパイプラインも対象です。
よくある質問
GitHubで最も人気のある#pysparkリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#pysparkプロジェクトは、6,705個のスターを獲得しているibis-project/ibisです。ポータブルな Python データフレーム ライブラリ
#pysparkリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#pysparkプロジェクトでは、Python, Scala, Jupyter Notebook, Javaが最も一般的なプログラミング言語です。
#pysparkリポジトリのランキングはどのように算出されていますか?
#pysparkのタグが付いた35件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は60,070個で、リポジトリあたりの平均は1,716個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。