Git Stars Git Stars

#spark リポジトリ

#sparkのタグが付いた、GitHub上の126件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は513,269個で、プロジェクトあたりの平均は4,073個です。このトピックをリードしているのは、46,997個のスターを獲得しているDataTalksClub/data-engineering-zoomcampです。

126
リポジトリ総数
513,269
合計スター数
4,073
リポジトリあたりの平均スター数

リポジトリ合計126件

1
DataTalksClub/data-engineering-zoomcamp

Data Engineering Zoomcamp は、本番環境対応のデータパイプライン構築に関する9週間の無料コースです。コースへの参加はこちら 👇🏼

DataTalksClub
⭐ 46,997 Jupyter Notebook 👤 DataTalksClub Organization 🕐 更新日時 2026-11-16 📅 作成日 2021-10-21
2
apache/spark

Apache Spark - 大規模データ処理のための統合分析エンジン

apache
⭐ 44,593 Scala 👤 apache Organization 🕐 更新日時 2026-11-21 📅 作成日 2014-02-25
3
getredash/redash

データドリブンな企業へ。あらゆるデータソースに接続し、簡単に可視化、ダッシュボード化、共有できます。

getredash
⭐ 28,895 TypeScript 👤 getredash Organization 🕐 更新日時 2026-11-14 📅 作成日 2013-10-28
4
donnemartin/data-science-ipython-notebooks

データサイエンスPythonノートブック:ディープラーニング(TensorFlow、Theano、Caffe、Keras)、scikit-learn、Kaggle、ビッグデータ(Spark、Hadoop MapReduce、HDFS)、matplotlib、pandas、NumPy、SciPy、Pythonの基本、AWS、およびさまざまなコマンドライン。

donnemartin
⭐ 28,776 Python 👤 donnemartin User 🕐 更新日時 2024-03-20 📅 作成日 2015-01-23
5
yeasy/docker_practice

最新のDockerコンテナ技術、実際の事例からベストプラクティスを学びましょう!| Docker&コンテナ技術を学び、実際のDevOps実践を理解しましょう!

yeasy
⭐ 26,382 Go 👤 yeasy User 🕐 更新日時 2026-11-11 📅 作成日 2014-09-05
6
heibaiying/BigData-Notes

ビッグデータ入門ガイド :star:

heibaiying
⭐ 16,818 Java 👤 heibaiying User 🕐 更新日時 2024-01-05 📅 作成日 2019-03-10
7
FavioVazquez/ds-cheatsheets

世界を支配するためのデータサイエンス・チートシート一覧

FavioVazquez
⭐ 15,921 👤 FavioVazquez User 🕐 更新日時 2024-07-18 📅 作成日 2018-12-20
8
GaiZhenbiao/ChuanhuChatGPT

ChatGPT API および多くの LLM 用の GUI。エージェント、ファイルベース QA、GPT ファインチューニング、Web 検索によるクエリをサポートします。すべてすっきりとした UI で。

GaiZhenbiao
⭐ 15,237 Python 👤 GaiZhenbiao User 🕐 更新日時 2026-09-16 📅 作成日 2023-03-02
9
zhisheng17/flink-learning

Flink学習ブログ。http://www.54tianzhisheng.cn/ Flinkの入門、概念、原理、実践、パフォーマンスチューニング、ソースコード解析などの内容を含みます。Flink Connector、Metrics、Library、DataStream API、Table API & SQLなどの学習事例を扱い、Flinkの実際の適用大規模プロジェクト事例(PVUV、ログラグ、数百億データのリアルタイム重複除去、監視アラート)を共有します。皆さんのサポートを歓迎します、私のコラム『ビッグデータリアルタイム計算エンジン Flink実践とパフォーマンス最適化』を。

zhisheng17
⭐ 15,109 Java 👤 zhisheng17 User 🕐 更新日時 2026-05-06 📅 作成日 2019-01-01
10
aalansehaiyang/technology-talk

【大手企業面接特集】Javaプログラマーが必要な技術ガイド。ここに面接問題、システムアーキテクチャ、職場Tips、主流ミドルウェアなどが揃い、より優秀な自分になる!

aalansehaiyang
⭐ 14,717 👤 aalansehaiyang User 🕐 更新日時 2025-07-21 📅 作成日 2016-06-10
11
horovod/horovod

TensorFlow、Keras、PyTorch、Apache MXNet 用の分散トレーニングフレームワーク。

horovod
⭐ 14,695 Python 👤 horovod Organization 🕐 更新日時 2026-06-20 📅 作成日 2017-08-09
12
deeplearning4j/deeplearning4j

JVMを使用してディープラーニングモデルをデプロイおよびトレーニングするためのツールのスイート。主な機能には、Keras、TensorFlow、ONNX/PyTorchのモデルインポート、数学コードを実行するためのモジュール式で軽量なC++ライブラリ、コアC++ライブラリ上に構築されたJavaベースの数学ライブラリが含まれます。また、SameDiff:ディープラーニングの実行のためのPyTorch/TensorFlowライクなライブラリも含まれています...

deeplearning4j
⭐ 14,283 Java 👤 deeplearning4j Organization 🕐 更新日時 2026-10-05 📅 作成日 2013-11-27
13
tobymao/sqlglot

Python SQLパーサーおよびトランスパイラー

tobymao
⭐ 9,809 Python 👤 tobymao User 🕐 更新日時 2026-11-21 📅 作成日 2021-03-13
14
delta-io/delta

Spark、PrestoDB、Flink、Trino、Hive を含むコンピュートエンジンおよび API を使用して Lakehouse アーキテクチャを構築できるオープンソースのストレージフレームワーク

delta-io
⭐ 9,083 Scala 👤 delta-io Organization 🕐 更新日時 2026-11-21 📅 作成日 2019-04-22
15
mage-ai/mage-ai

🧙 データの統合と変換のためのデータパイプラインを構築、実行、管理します。

mage-ai
⭐ 8,850 Python 👤 mage-ai Organization 🕐 更新日時 2026-11-20 📅 作成日 2022-05-16
16
h2oai/h2o-3

H2Oは、オープンソース、分散型、高速、スケーラブルな機械学習プラットフォームです。ディープラーニング、勾配ブースティング(GBM)およびXGBoost、ランダムフォレスト、一般化線形モデリング(Elastic Netを使用したGLM)、K-Means、PCA、一般化加法モデル(GAM)、RuleFit、サポートベクターマシン(SVM)、スタックドアンサンブル、自動機械学習(AutoML)など。

h2oai
⭐ 7,527 Jupyter Notebook 👤 h2oai Organization 🕐 更新日時 2026-11-11 📅 作成日 2014-03-03
17
Alluxio/alluxio

Alluxio、クラウドでの分析および機械学習のためのデータオーケストレーション

Alluxio
⭐ 7,264 Java 👤 Alluxio Organization 🕐 更新日時 2026-09-01 📅 作成日 2012-12-21
18
Angel-ML/angel

大規模機械学習のための柔軟で強力なパラメータサーバー

Angel-ML
⭐ 6,797 Java 👤 Angel-ML Organization 🕐 更新日時 2026-11-19 📅 作成日 2017-04-25
19
apache/zeppelin

SQL、Scala などを用いたデータ駆動型でインタラクティブなデータ分析と協働ドキュメントを可能にするウェブベースのノートブック。

apache
⭐ 6,670 Java 👤 apache Organization 🕐 更新日時 2026-11-20 📅 作成日 2015-03-25
20
microsoft/SynapseML

Spark 用の ML アルゴリズムを移植する、シンプルで分散型の機械学習 Python ライブラリ

microsoft
⭐ 5,257 Scala 👤 microsoft Organization 🕐 更新日時 2026-11-18 📅 作成日 2017-06-05
21
tencentmusic/cube-studio

cube studio オープンソース クラウドネイティブ ワンストップ 機械学習/深層学習/大規模AIプラットフォーム, MLOps アルゴリズムリンク全プロセス, 計算能力レンタルプラットフォーム, Notebook オンライン開発, ドラッグ&ドロップ タスクフローパイプラインオーケストレーション, マルチマシンマルチGPU分散学習, ハイパーパラメータ検索, 推論サービスVGPU仮想化, エッジコンピューティング, ラベリングプラットフォーム自動ラベリング, deepseekなどの大規模モデルsftファインチューニング/報酬モデル/強化学習、vllm/ollama/mindieなどの大規模モデルマルチマシン推論, プライベート知識ベース, AIモデルマーケット, 国産CPU/GPU/NPU 昇騰エコシステム対応, RDMA対応, pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcanoなどの分散対応

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 更新日時 2026-10-09 📅 作成日 2021-08-17
22
apache/streampark

リアルタイムデータのためのオープンなコントロールプレーン

apache
⭐ 4,352 Java 👤 apache Organization 🕐 更新日時 2026-10-31 📅 作成日 2019-05-27
23
JohnSnowLabs/spark-nlp

最先端の自然言語処理

JohnSnowLabs
⭐ 4,162 Scala 👤 JohnSnowLabs Organization 🕐 更新日時 2026-11-14 📅 作成日 2017-09-24
24
RoaringBitmap/RoaringBitmap

Java のより優れた圧縮ビットセット:Apache Spark、Netflix Atlas、Apache Pinot、Tablesaw など多くのプロジェクトで使用

RoaringBitmap
⭐ 3,957 Java 👤 RoaringBitmap Organization 🕐 更新日時 2026-11-14 📅 作成日 2013-06-17
25
Cyb3rWard0g/HELK

狩猟するELK

Cyb3rWard0g
⭐ 3,901 Jupyter Notebook 👤 Cyb3rWard0g User 🕐 更新日時 2024-06-01 📅 作成日 2017-03-14
26
awslabs/deequ

Deequ は、Apache Spark の上に構築されたライブラリで、大規模データセットのデータ品質を測定する「データ向けユニットテスト」を定義します。

awslabs
⭐ 3,660 Scala 👤 awslabs Organization 🕐 更新日時 2026-10-20 📅 作成日 2018-08-07
27
lakehq/sail

Rustで書かれたApache Sparkのドロップイン代替品で、バッチ処理、ストリーム処理、計算集約型のAIワークロードを統一します。

lakehq
⭐ 3,504 Rust 👤 lakehq Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-12-21
28
liyupi/sql-generator

🔨 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor をベースに、JSON を使用して構造化された SQL ステートメントを生成します。プロジェクトはシンプル (ロジック重視、ページ軽量) で、練習に適しています~

liyupi
⭐ 3,455 Vue 👤 liyupi User 🕐 更新日時 2024-01-17 📅 作成日 2022-05-12
29
apache/paimon

Apache Paimonは、ストリーミングおよびバッチ操作の両方でFlinkおよびSparkを使用したRealtime Lakehouseアーキテクチャを構築できるレイクフォーマットです。

apache
⭐ 3,454 Java 👤 apache Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-01-12
30
apache/linkis

Apache Linkis は、上位アプリケーションと下位データエンジン間の接続、管理、およびオーケストレーションを容易にするために、計算ミドルウェア層を構築します。

apache
⭐ 3,417 Java 👤 apache Organization 🕐 更新日時 2026-11-04 📅 作成日 2019-07-23
31
databricks/koalas

Koalas: Apache Spark 上の pandas API

databricks
⭐ 3,368 Python 👤 databricks Organization 🕐 更新日時 2024-03-20 📅 作成日 2019-01-03
32
WeBankFinTech/DataSphereStudio

DataSphereStudio は、データアプリケーションの開発および管理のためのワンストップポータルで、データ交換、デセンシタイズ/クリーニング、分析/マイニング、品質測定、可視化、タスクスケジューリングなどのシナリオをカバーします。

WeBankFinTech
⭐ 3,275 Java 👤 WeBankFinTech Organization 🕐 更新日時 2025-11-04 📅 作成日 2019-11-24
33
lakesoul-io/LakeSoul

エージェント向けのオープンなレイクハウスエンジン。Postgres、ベクトル、Pythonにネイティブ対応。PostgreSQLを話し、お使いのオブジェクトストレージ上で動作し、Rustで書かれています。

lakesoul-io
⭐ 3,261 Rust 👤 lakesoul-io Organization 🕐 更新日時 2026-11-21 📅 作成日 2021-12-28
34
MoRan1607/BigDataGuide

ビッグデータ学習、ビッグデータをゼロから学習、ビッグデータ学習の各段階の学習ビデオ、面接資料を含む

MoRan1607
⭐ 3,259 👤 MoRan1607 User 🕐 更新日時 2026-01-20 📅 作成日 2019-11-30
35
kubeflow/spark-operator

Kubernetes上でApache Sparkアプリケーションのライフサイクルを管理するためのKubernetesオペレーター。

kubeflow
⭐ 3,162 Python 👤 kubeflow Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-01-03
36
Luce-Org/lucebox

異種ハードウェアおよびコンシューマー向け GPU 用の Lucebox 推論エンジン

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-04-03
37
RayXBuilds/Movie_Recommend

過去の学習プロジェクト:Sparkによる映画推薦、スクレイピング、Webアプリ、バックエンド。新版の継続的な開発については cinematch-recommender をご覧ください。

RayXBuilds
⭐ 3,007 Java 👤 RayXBuilds User 🕐 更新日時 2026-10-21 📅 作成日 2018-04-18
38
spark-jobserver/spark-jobserver

Apache Spark用RESTジョブサーバー

spark-jobserver
⭐ 2,833 Scala 👤 spark-jobserver Organization 🕐 更新日時 2026-03-03 📅 作成日 2014-08-21
39
vector4wang/spring-boot-quick

:herb: Spring Boot ベースのクイックラーニング例、自らが遭遇したオープンソースフレームワークの統合、例えば:RabbitMQ(遅延キュー)、Kafka、JPA、Redis、OAuth2、Swagger、JSP、Docker、K3s、K3d、K8s、MyBatis 暗号化/復号化プラグイン、例外処理、ログ出力、マルチモジュール開発、マルチ環境パッケージング、キャッシュ cache、クローラー、JWT、GraphQL、Dubbo、Zookeeper および Async など :pushpin:

vector4wang
⭐ 2,789 Java 👤 vector4wang User 🕐 更新日時 2026-05-16 📅 作成日 2017-03-13
40
moj-analytical-services/splink

高速で正確かつスケーラブルな確率的データリンク、複数のSQLバックエンドをサポート

moj-analytical-services
⭐ 2,592 Python 👤 moj-analytical-services Organization 🕐 更新日時 2026-11-11 📅 作成日 2019-11-22
41
geekyouth/SZT-bigdata

深圳地下鉄ビッグデータ乗客フロー分析システム🚇🚄🌟

geekyouth
⭐ 2,469 Scala 👤 geekyouth User 🕐 更新日時 2026-05-12 📅 作成日 2020-04-13
42
XZB-1248/Spark

✨Sparkは、Goで書かれたWebベース、クロスプラットフォーム、フル機能のリモート管理ツール(RAT)であり、どこからでもすべてのデバイスを制御できます。Sparkは、Goで書かれたWebベース、クロスプラットフォーム、多機能なリモート制御および監視ツールであり、いつでもどこでもすべてのデバイスを監視および制御できます。

XZB-1248
⭐ 2,412 Go 👤 XZB-1248 User 🕐 更新日時 2026-03-16 📅 作成日 2022-03-16
43
apache/kyuubi

Apache Kyuubi は、データウェアハウスとレイクハウス上でサーバーレス SQL を提供するための分散型マルチテナントゲートウェイです。

apache
⭐ 2,379 Scala 👤 apache Organization 🕐 更新日時 2026-11-19 📅 作成日 2017-12-18
44
ytsaurus/ytsaurus

YTsaurusは、スケーラブルで耐障害性の高いオープンソースのビッグデータプラットフォームです。

ytsaurus
⭐ 2,325 C++ 👤 ytsaurus Organization 🕐 更新日時 2026-11-21 📅 作成日 2022-12-05
45
o-gs/dji-firmware-tools

DJI製品のファームウェアを扱うためのツール、特にクアッドコプターに焦点を当てています。

o-gs
⭐ 2,309 C 👤 o-gs Organization 🕐 更新日時 2026-11-11 📅 作成日 2016-08-03
46
salesforce/TransmogrifAI

TransmogrifAI(発音:trăns-mŏgˈrə-fī)は、Apache Spark上でモジュール式で再利用可能な、厳密に型指定された機械学習ワークフローを最小限の手動調整で構築するためのAutoMLライブラリです。

salesforce
⭐ 2,280 Scala 👤 salesforce Organization 🕐 更新日時 2026-06-02 📅 作成日 2017-11-02
47
fugue-project/fugue

分散コンピューティングのための統一インターフェース。Fugueは、Spark、Dask、Ray上でSQL、Python、Pandas、Polarsコードを書き換えなしで実行します。

fugue-project
⭐ 2,168 Python 👤 fugue-project Organization 🕐 更新日時 2026-11-12 📅 作成日 2020-03-24
48
zio/zio-quill

Scalaのためのコンパイル時言語統合クエリ

zio
⭐ 2,165 Scala 👤 zio Organization 🕐 更新日時 2026-11-21 📅 作成日 2015-07-20
49
dotnet/spark

.NET for Apache® Spark™ により、.NET 開発者は Apache Spark™ を簡単に利用できるようになります。

dotnet
⭐ 2,096 C# 👤 dotnet Organization 🕐 更新日時 2026-11-05 📅 作成日 2019-04-22
50
broadinstitute/gatk

GATKバージョン4以降の公式コードリポジトリ

broadinstitute
⭐ 2,010 Java 👤 broadinstitute Organization 🕐 更新日時 2026-11-21 📅 作成日 2014-12-02

よくある質問

1

GitHubで最も人気のある#sparkリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#sparkプロジェクトは、46,997個のスターを獲得しているDataTalksClub/data-engineering-zoomcampです。Data Engineering Zoomcamp は、本番環境対応のデータパイプライン構築に関する9週間の無料コースです。コースへの参加はこちら 👇🏼

2

#sparkリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#sparkプロジェクトでは、Java, Scala, Python, Jupyter Notebookが最も一般的なプログラミング言語です。

3

#sparkリポジトリのランキングはどのように算出されていますか?

#sparkのタグが付いた126件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は513,269個で、リポジトリあたりの平均は4,073個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。