#spark リポジトリ
#sparkのタグが付いた、GitHub上の126件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は513,269個で、プロジェクトあたりの平均は4,073個です。このトピックをリードしているのは、46,997個のスターを獲得しているDataTalksClub/data-engineering-zoomcampです。
リポジトリ合計126件
Data Engineering Zoomcamp は、本番環境対応のデータパイプライン構築に関する9週間の無料コースです。コースへの参加はこちら 👇🏼
データサイエンスPythonノートブック:ディープラーニング(TensorFlow、Theano、Caffe、Keras)、scikit-learn、Kaggle、ビッグデータ(Spark、Hadoop MapReduce、HDFS)、matplotlib、pandas、NumPy、SciPy、Pythonの基本、AWS、およびさまざまなコマンドライン。
最新のDockerコンテナ技術、実際の事例からベストプラクティスを学びましょう!| Docker&コンテナ技術を学び、実際のDevOps実践を理解しましょう!
ChatGPT API および多くの LLM 用の GUI。エージェント、ファイルベース QA、GPT ファインチューニング、Web 検索によるクエリをサポートします。すべてすっきりとした UI で。
Flink学習ブログ。http://www.54tianzhisheng.cn/ Flinkの入門、概念、原理、実践、パフォーマンスチューニング、ソースコード解析などの内容を含みます。Flink Connector、Metrics、Library、DataStream API、Table API & SQLなどの学習事例を扱い、Flinkの実際の適用大規模プロジェクト事例(PVUV、ログラグ、数百億データのリアルタイム重複除去、監視アラート)を共有します。皆さんのサポートを歓迎します、私のコラム『ビッグデータリアルタイム計算エンジン Flink実践とパフォーマンス最適化』を。
【大手企業面接特集】Javaプログラマーが必要な技術ガイド。ここに面接問題、システムアーキテクチャ、職場Tips、主流ミドルウェアなどが揃い、より優秀な自分になる!
JVMを使用してディープラーニングモデルをデプロイおよびトレーニングするためのツールのスイート。主な機能には、Keras、TensorFlow、ONNX/PyTorchのモデルインポート、数学コードを実行するためのモジュール式で軽量なC++ライブラリ、コアC++ライブラリ上に構築されたJavaベースの数学ライブラリが含まれます。また、SameDiff:ディープラーニングの実行のためのPyTorch/TensorFlowライクなライブラリも含まれています...
Spark、PrestoDB、Flink、Trino、Hive を含むコンピュートエンジンおよび API を使用して Lakehouse アーキテクチャを構築できるオープンソースのストレージフレームワーク
H2Oは、オープンソース、分散型、高速、スケーラブルな機械学習プラットフォームです。ディープラーニング、勾配ブースティング(GBM)およびXGBoost、ランダムフォレスト、一般化線形モデリング(Elastic Netを使用したGLM)、K-Means、PCA、一般化加法モデル(GAM)、RuleFit、サポートベクターマシン(SVM)、スタックドアンサンブル、自動機械学習(AutoML)など。
cube studio オープンソース クラウドネイティブ ワンストップ 機械学習/深層学習/大規模AIプラットフォーム, MLOps アルゴリズムリンク全プロセス, 計算能力レンタルプラットフォーム, Notebook オンライン開発, ドラッグ&ドロップ タスクフローパイプラインオーケストレーション, マルチマシンマルチGPU分散学習, ハイパーパラメータ検索, 推論サービスVGPU仮想化, エッジコンピューティング, ラベリングプラットフォーム自動ラベリング, deepseekなどの大規模モデルsftファインチューニング/報酬モデル/強化学習、vllm/ollama/mindieなどの大規模モデルマルチマシン推論, プライベート知識ベース, AIモデルマーケット, 国産CPU/GPU/NPU 昇騰エコシステム対応, RDMA対応, pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcanoなどの分散対応
Java のより優れた圧縮ビットセット:Apache Spark、Netflix Atlas、Apache Pinot、Tablesaw など多くのプロジェクトで使用
🔨 Vue3 + TypeScript + Vite + Ant Design + MonacoEditor をベースに、JSON を使用して構造化された SQL ステートメントを生成します。プロジェクトはシンプル (ロジック重視、ページ軽量) で、練習に適しています~
Apache Paimonは、ストリーミングおよびバッチ操作の両方でFlinkおよびSparkを使用したRealtime Lakehouseアーキテクチャを構築できるレイクフォーマットです。
Apache Linkis は、上位アプリケーションと下位データエンジン間の接続、管理、およびオーケストレーションを容易にするために、計算ミドルウェア層を構築します。
DataSphereStudio は、データアプリケーションの開発および管理のためのワンストップポータルで、データ交換、デセンシタイズ/クリーニング、分析/マイニング、品質測定、可視化、タスクスケジューリングなどのシナリオをカバーします。
エージェント向けのオープンなレイクハウスエンジン。Postgres、ベクトル、Pythonにネイティブ対応。PostgreSQLを話し、お使いのオブジェクトストレージ上で動作し、Rustで書かれています。
過去の学習プロジェクト:Sparkによる映画推薦、スクレイピング、Webアプリ、バックエンド。新版の継続的な開発については cinematch-recommender をご覧ください。
:herb: Spring Boot ベースのクイックラーニング例、自らが遭遇したオープンソースフレームワークの統合、例えば:RabbitMQ(遅延キュー)、Kafka、JPA、Redis、OAuth2、Swagger、JSP、Docker、K3s、K3d、K8s、MyBatis 暗号化/復号化プラグイン、例外処理、ログ出力、マルチモジュール開発、マルチ環境パッケージング、キャッシュ cache、クローラー、JWT、GraphQL、Dubbo、Zookeeper および Async など :pushpin:
✨Sparkは、Goで書かれたWebベース、クロスプラットフォーム、フル機能のリモート管理ツール(RAT)であり、どこからでもすべてのデバイスを制御できます。Sparkは、Goで書かれたWebベース、クロスプラットフォーム、多機能なリモート制御および監視ツールであり、いつでもどこでもすべてのデバイスを監視および制御できます。
TransmogrifAI(発音:trăns-mŏgˈrə-fī)は、Apache Spark上でモジュール式で再利用可能な、厳密に型指定された機械学習ワークフローを最小限の手動調整で構築するためのAutoMLライブラリです。
分散コンピューティングのための統一インターフェース。Fugueは、Spark、Dask、Ray上でSQL、Python、Pandas、Polarsコードを書き換えなしで実行します。
よくある質問
GitHubで最も人気のある#sparkリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#sparkプロジェクトは、46,997個のスターを獲得しているDataTalksClub/data-engineering-zoomcampです。Data Engineering Zoomcamp は、本番環境対応のデータパイプライン構築に関する9週間の無料コースです。コースへの参加はこちら 👇🏼
#sparkリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#sparkプロジェクトでは、Java, Scala, Python, Jupyter Notebookが最も一般的なプログラミング言語です。
#sparkリポジトリのランキングはどのように算出されていますか?
#sparkのタグが付いた126件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は513,269個で、リポジトリあたりの平均は4,073個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。