Git Stars Git Stars

#pyspark リポジトリ

#pysparkのタグが付いた、GitHub上の35件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は60,070個で、プロジェクトあたりの平均は1,716個です。このトピックをリードしているのは、6,705個のスターを獲得しているibis-project/ibisです。

35
リポジトリ総数
60,070
合計スター数
1,716
リポジトリあたりの平均スター数

リポジトリ合計35件

1
ibis-project/ibis

ポータブルな Python データフレーム ライブラリ

ibis-project
⭐ 6,705 Python 👤 ibis-project Organization 🕐 更新日時 2026-11-20 📅 作成日 2015-04-17
2
microsoft/SynapseML

Spark 用の ML アルゴリズムを移植する、シンプルで分散型の機械学習 Python ライブラリ

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 更新日時 2026-11-18 📅 作成日 2017-06-05
3
JohnSnowLabs/spark-nlp

最先端の自然言語処理

JohnSnowLabs
⭐ 4,162 Scala 👤 JohnSnowLabs Organization 🕐 更新日時 2026-11-14 📅 作成日 2017-09-24
4
databricks/learning-spark

Learning Spark 書籍のサンプル コード

databricks
⭐ 3,895 Java 👤 databricks Organization 🕐 更新日時 2026-06-30 📅 作成日 2014-06-16
5
lakehq/sail

Rustで書かれたApache Sparkのドロップイン代替品で、バッチ処理、ストリーム処理、計算集約型のAIワークロードを統一します。

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-12-21
6
apache/linkis

Apache Linkis は、上位アプリケーションと下位データエンジン間の接続、管理、およびオーケストレーションを容易にするために、計算ミドルウェア層を構築します。

apache
⭐ 3,417 Java 👤 apache Organization 🕐 更新日時 2026-11-04 📅 作成日 2019-07-23
7
danielbeach/data-engineering-practice

データエンジニアリング実践問題

danielbeach
⭐ 2,706 Python 👤 danielbeach User 🕐 更新日時 2025-01-08 📅 作成日 2022-02-17
8
awesome-spark/awesome-spark

優れたApache Sparkパッケージとリソースの厳選されたリスト。

awesome-spark
⭐ 1,903 Shell 👤 awesome-spark Organization 🕐 更新日時 2026-02-27 📅 作成日 2016-02-01
9
uber/petastorm

Petastorm ライブラリは、Apache Parquet 形式のデータセットからディープラーニングモデルの単一マシンまたは分散トレーニングと評価を可能にします。Tensorflow、Pytorch、PySpark などの ML フレームワークをサポートし、純粋な Python コードから使用できます。

uber
⭐ 1,894 Python 👤 uber Organization 🕐 更新日時 2026-01-02 📅 作成日 2018-06-15
10
narwhals-dev/narwhals

データフレームライブラリ間の軽量で拡張可能な互換性レイヤー!

narwhals-dev
⭐ 1,754 Python 👤 narwhals-dev Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-02-19
11
jadianes/spark-py-notebooks

Apache Spark & Python (pySpark) のビッグデータ分析と機械学習のためのチュートリアル、IPython / Jupyter ノートブックとして

jadianes
⭐ 1,667 Jupyter Notebook 👤 jadianes User 🕐 更新日時 2024-03-16 📅 作成日 2015-05-06
12
hi-primus/optimus

:truck: Pandas、Dask、cuDF、Dask-cuDF、Vaex、PySpark を使用して Agile データ準備ワークフローを簡単に

hi-primus
⭐ 1,539 Python 👤 hi-primus Organization 🕐 更新日時 2024-12-02 📅 作成日 2017-07-13
14
spark-examples/pyspark-examples

Python言語でのPySpark RDD、DataFrameおよびDatasetの例

spark-examples
⭐ 1,371 Python 👤 spark-examples Organization 🕐 更新日時 2025-12-07 📅 作成日 2019-11-26
15
jupyter-incubator/sparkmagic

リモート Spark クラスタで作業するための Jupyter マジックとカーネル

jupyter-incubator
⭐ 1,368 Python 👤 jupyter-incubator Organization 🕐 更新日時 2026-11-20 📅 作成日 2015-09-21
16
logicalclocks/hopsworks

Hopsworks - 機能ストア付きデータ集約型 AI プラットフォーム

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 更新日時 2025-02-10 📅 作成日 2018-07-26
17
mahmoudparsian/pyspark-tutorial

PySpark-Tutorial は PySpark を使用した基本的なアルゴリズムを提供します

mahmoudparsian
⭐ 1,276 Jupyter Notebook 👤 mahmoudparsian User 🕐 更新日時 2025-05-26 📅 作成日 2015-03-12
18
graphframes/graphframes

GraphFrames は、Apache Spark 用のパッケージで、DataFrame ベースのグラフを提供します。

graphframes
⭐ 1,213 Scala 👤 graphframes Organization 🕐 更新日時 2026-11-12 📅 作成日 2016-01-20
19
JohnSnowLabs/spark-nlp-workshop

John Snow Labs の Apache Spark 向け NLP を使用した公開実行可能例。

JohnSnowLabs
⭐ 1,089 Jupyter Notebook 👤 JohnSnowLabs Organization 🕐 更新日時 2026-11-17 📅 作成日 2018-08-20
20
mahmoudparsian/data-algorithms-book

データアルゴリズムブック:MapReduce、Spark、Java、Scala

mahmoudparsian
⭐ 1,083 Java 👤 mahmoudparsian User 🕐 更新日時 2024-10-14 📅 作成日 2014-08-06
21
h2oai/sparkling-water

Sparkling WaterはSparkクラスター内でH2O機能を提供します

h2oai
⭐ 982 Scala 👤 h2oai Organization 🕐 更新日時 2025-11-05 📅 作成日 2014-10-13
22
criteo/autofaiss

最も最適な類似性検索パラメータでFaiss knnインデックスを自動作成します。

criteo
⭐ 906 Python 👤 criteo Organization 🕐 更新日時 2025-11-04 📅 作成日 2021-04-28
23
PatrikHlobil/Pandas-Bokeh

PandasおよびGeoPandas用のBokehプロットバックエンド

PatrikHlobil
⭐ 889 Python 👤 PatrikHlobil User 🕐 更新日時 2024-04-10 📅 作成日 2018-11-23
24
pyspark-ai/pyspark-ai

Apache Spark 用の英語 SDK

pyspark-ai
⭐ 879 Python 👤 pyspark-ai Organization 🕐 更新日時 2026-10-27 📅 作成日 2023-04-27
25
awslabs/python-deequ

DeequのPython API

awslabs
⭐ 826 Jupyter Notebook 👤 awslabs Organization 🕐 更新日時 2026-10-24 📅 作成日 2020-11-09
26
HariSekhon/DevOps-Python-tools

80以上の DevOps & データ CLI ツール - AWS、GCP、GCF Python Cloud Functions、ログ匿名化ツール、Spark、Hadoop、HBase、Hive、Impala、Linux、Docker、Spark データ コンバーター & バリデータ (Avro/Parquet/JSON/CSV/INI/XML/YAML)、Travis CI、AWS CloudFormation、Elasticsearch、Solr など。

HariSekhon
⭐ 824 Python 👤 HariSekhon User 🕐 更新日時 2026-02-03 📅 作成日 2015-10-27
27
Nike-Inc/koheesio

効率的なデータパイプラインを構築するためのPythonフレームワーク。モジュール性とコラボレーションを促進し、シンプルで再利用可能なコンポーネントから複雑なパイプラインを作成できるようにします。

Nike-Inc
⭐ 818 Python 👤 Nike-Inc Organization 🕐 更新日時 2026-10-17 📅 作成日 2024-05-06
28
WeBankFinTech/Scriptis

Scriptis は、スクリプト開発(SQL、PySpark、HiveQL)、タスク送信(Spark、Hive)、UDF、関数、リソース管理、およびインテリジェント診断によるインタラクティブなデータ分析用です。

WeBankFinTech
⭐ 812 Vue 👤 WeBankFinTech Organization 🕐 更新日時 2024-12-11 📅 作成日 2019-07-23
29
MrPowers/chispa

PySpark テストヘルパーメソッドと美しいエラーメッセージ

MrPowers
⭐ 778 Python 👤 MrPowers User 🕐 更新日時 2026-11-20 📅 作成日 2019-03-19
30
databricks/tensorframes

[DEPRECATED] Apache Spark の DataFrames 用の Tensorflow ラッパー

databricks
⭐ 745 Scala 👤 databricks Organization 🕐 更新日時 2024-07-30 📅 作成日 2016-03-04
31
awslabs/aws-glue-libs

AWS Glue ライブラリは、ETL 操作のための Spark への追加機能および強化です。

awslabs
⭐ 701 Python 👤 awslabs Organization 🕐 更新日時 2026-10-30 📅 作成日 2017-08-11
32
mrpowers-io/quinn

開発者生産性を向上させる PySpark のメソッド 📣 👯 🎉

mrpowers-io
⭐ 691 Python 👤 mrpowers-io Organization 🕐 更新日時 2026-10-25 📅 作成日 2017-09-15
33
capitalone/datacompy

Pandas、Polars、Spark、Snowpark DataFrame の比較:人間向けでさらに!

capitalone
⭐ 669 Python 👤 capitalone Organization 🕐 更新日時 2026-11-16 📅 作成日 2018-03-23
34
cluster-apps-on-docker/spark-standalone-cluster-on-docker

Docker上でJupyterLabインターフェースを備えた独自のクラスターを構築することで、Scala、Python(PySpark)、R(SparkR)でApache Sparkを学習します。 :zap:

cluster-apps-on-docker
⭐ 510 Jupyter Notebook 👤 cluster-apps-on-docker Organization 🕐 更新日時 2025-11-07 📅 作成日 2020-07-03
35
databrickslabs/dbldatagen

プロジェクトに適した合成データをすばやく生成できます。Databricks Labs の合成データジェネレーター(`dbldatagen` とも呼ばれます)は、Databricks 環境で、テストや概念実証(POC)などに利用できる大規模なシミュレーションデータ/合成データセットを生成するために使用できます。Delta Live Tables のパイプラインも対象です。

databrickslabs
⭐ 506 Python 👤 databrickslabs Organization 🕐 更新日時 2026-10-26 📅 作成日 2019-07-23

よくある質問

1

GitHubで最も人気のある#pysparkリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#pysparkプロジェクトは、6,705個のスターを獲得しているibis-project/ibisです。ポータブルな Python データフレーム ライブラリ

2

#pysparkリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#pysparkプロジェクトでは、Python, Scala, Jupyter Notebook, Javaが最も一般的なプログラミング言語です。

3

#pysparkリポジトリのランキングはどのように算出されていますか?

#pysparkのタグが付いた35件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は60,070個で、リポジトリあたりの平均は1,716個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。