#model-serving リポジトリ
#model-servingのタグが付いた、GitHub上の51件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は211,758個で、プロジェクトあたりの平均は4,152個です。このトピックをリードしているのは、97,302個のスターを獲得しているvllm-project/vllmです。
リポジトリ合計51件
お使いの k8s 上で、エージェント、ML パイプライン、リアルタイム推論を型安全かつ分散的にオーケストレーション——async/await を使った純粋な Python に加え、他の言語(Rust、Go、TypeScript)にも対応
LightLLMは、軽量な設計、容易なスケーラビリティ、および高速なパフォーマンスで知られる、LLM(大規模言語モデル)の推論およびサービングのためのPythonベースのフレームワークです。
🚀 機械学習のための素晴らしいシステム ⚡️ AIシステム論文と業界実践。 ⚡️ 機械学習システム、LLM (Large Language Model)、GenAI (Generative AI)。 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys など。 🗃️ Llama3, Mistral など。 🧑💻 ビデオチュートリアル。
FEDML - 大規模分散トレーニング、モデルサービング、フェデレーテッドラーニングのための、統合されたスケーラブルなMLライブラリ。クロス クラウド スケジューラであるFEDML Launchは、あらゆるGPUクラウドまたはオンプレミス クラスタで任意のAIジョブを実行できるようにします。このライブラリに基づいて構築されたTensorOpera AI (https://TensorOpera.ai) は、大規模な生成AIプラットフォームです。
MLRun は、オープンソースの MLOps プラットフォームで、ML アプリケーションのライフサイクル全体にわたる継続的な ML アプリケーションを迅速に構築・管理します。MLRun は、開発および CI/CD 環境に統合され、本番データ、ML パイプライン、およびオンラインアプリケーションの配信を自動化します。
オープンな意思決定モデル向けのJev互換APIサーバー。意思決定モデルのためのOllama:29種類のモデルファミリー(Laya、pplx-decider、Clef、Winnow、cobaなど)をローカルで取得・実行するか、/v1/systemoneの背後でセルフホストできます。TypeSafe SDKは変更せずに利用可能です。ベースURLを設定し、オープンモデルを選ぶだけ。CLI、デスクトップアプリ、Docker、MCPサーバー、公開ベンチマークを提供。
AI/MLモデル、データセット、コード、および構成をOCIアーティファクトにパッケージ化およびバージョン管理するためのCNCFのオープンソースDevOpsツール。
純粋な Rust + CUDA の LLM 推論エンジン — PyTorch 不要、OpenAI 互換、Qwen3 から Kimi-K2 まで対応
Ollama:古典的MLモデル用。XGBoost、LightGBM、scikit-learn、CatBoost、ONNXモデルをネイティブC99推論コードに変換するAOTコンパイラ。ロード1コマンド、サーブ1コマンド。Python推論の336倍高速。
よくある質問
GitHubで最も人気のある#model-servingリポジトリは何ですか?
GitHubで最も上位にランクインしているオープンソースの#model-servingプロジェクトは、97,302個のスターを獲得しているvllm-project/vllmです。LLM向けの高性能・メモリ効率の高い推論およびサービングエンジン
#model-servingリポジトリで最もよく使われているプログラミング言語は何ですか?
GitHubで上位にランクインしている#model-servingプロジェクトでは、Python, Go, Rust, Jupyter Notebookが最も一般的なプログラミング言語です。
#model-servingリポジトリのランキングはどのように算出されていますか?
#model-servingのタグが付いた51件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は211,758個で、リポジトリあたりの平均は4,152個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。