Git Stars Git Stars

#inference-server リポジトリ

#inference-serverのタグが付いた、GitHub上の13件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は53,014個で、プロジェクトあたりの平均は4,078個です。このトピックをリードしているのは、23,831個のスターを獲得しているjundot/omlxです。

13
リポジトリ総数
53,014
合計スター数
4,078
リポジトリあたりの平均スター数
プログラミング言語: Python Rust C++

リポジトリ合計13件

1
jundot/omlx

Apple Silicon向け連続バッチング&SSDキャッシュ付きLLM推論サーバー — macOSメニュー-barから管理

jundot
⭐ 23,831 Python 👤 jundot User 🕐 更新日時 2026-11-22 📅 作成日 2026-02-13
2
Michael-A-Kuykendall/shimmy

⚡ 純 Rust 製 WebGPU 推論エンジン — OpenAI API 互換、GGUF ネイティブ対応、あらゆる GPU で動作。Python 不要。llama.cpp 不要。シングルバイナリ。

Michael-A-Kuykendall
⭐ 6,022 Rust 👤 Michael-A-Kuykendall User 🕐 更新日時 2026-11-12 📅 作成日 2025-08-28
3
raullenchai/Rapid-MLX

Rapid-MLX は、Apple Silicon 向けのオープンソース(Apache 2.0)LLM 推論サーバーです。MLX を基盤とし、OpenAI および Anthropic と互換性があり、コーディングエージェント向けの信頼性の高いツール呼び出しに重点を置いています。同じ重みを使用した場合、Apple の MLX(mlx-lm)より最大 4 倍高速です。

raullenchai
⭐ 4,172 Python 👤 raullenchai User 🕐 更新日時 2026-11-22 📅 作成日 2026-02-25
4
superlinked/sie

エージェントが必要とするすべてのモデルのためのオープンソース推論サーバーとプロダクションクラスター。

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-11-07
5
containers/ramalama

RamaLamaは、あらゆるソースからのAIモデルのローカル提供を簡素化し、コンテナという使い慣れた言語を通じて、本番環境での推論での使用を容易にするオープンソース開発ツールです。

containers
⭐ 3,118 Python 👤 containers Organization 🕐 更新日時 2026-11-14 📅 作成日 2024-07-24
6
roboflow/inference

あらゆるコンピューターやエッジデバイスを、コンピュータービジョンプロジェクトのコマンドセンターに変えましょう。

roboflow
⭐ 2,499 Python 👤 roboflow Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-07-31
7
gpt-omni/mini-omni2

ビジョン、音声、デュプレックス機能を備えたオープンソースGPT-4oに向けて

gpt-omni
⭐ 1,896 Python 👤 gpt-omni Organization 🕐 更新日時 2025-01-16 📅 作成日 2024-10-14
8
LlamaEdge/LlamaEdge

ローカルまたはエッジでカスタマイズおよびファインチューニングされたLLMを実行するための最も簡単で最速の方法

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 更新日時 2026-02-08 📅 作成日 2023-10-09
9
waybarrios/vllm-mlx

Apple Silicon 向けの高性能な OpenAI および Anthropic 互換 LLM 推論サーバー。ネイティブ MLX、継続的バッチ処理、マルチモーダルモデル、MCP ツール呼び出し、Claude Code サポート。

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 更新日時 2026-11-07 📅 作成日 2025-12-06
10
ollaya-dev/ollaya

オープンな意思決定モデル向けのJev互換APIサーバー。意思決定モデルのためのOllama:29種類のモデルファミリー(Laya、pplx-decider、Clef、Winnow、cobaなど)をローカルで取得・実行するか、/v1/systemoneの背後でセルフホストできます。TypeSafe SDKは変更せずに利用可能です。ベースURLを設定し、オープンモデルを選ぶだけ。CLI、デスクトップアプリ、Docker、MCPサーバー、公開ベンチマークを提供。

ollaya-dev
⭐ 1,474 Rust 👤 ollaya-dev Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-09-23
11
basetenlabs/truss

本番環境でAI/MLモデルを提供する最も簡単な方法

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 更新日時 2026-11-20 📅 作成日 2022-07-06
12
aiptimizer/TurboOCR

TurboOCR、>200 img/s OmnidocBench。TensorRT FP16、PP-OCRv6、HTTP + gRPC

aiptimizer
⭐ 1,162 C++ 👤 aiptimizer Organization 🕐 更新日時 2026-09-27 📅 作成日 2026-03-20
13
pipeless-ai/pipeless

数分でアプリを構築およびデプロイできるオープンソースのコンピュータービジョンフレームワーク

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 更新日時 2024-05-08 📅 作成日 2023-07-21

よくある質問

1

GitHubで最も人気のある#inference-serverリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#inference-serverプロジェクトは、23,831個のスターを獲得しているjundot/omlxです。Apple Silicon向け連続バッチング&SSDキャッシュ付きLLM推論サーバー — macOSメニュー-barから管理

2

#inference-serverリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#inference-serverプロジェクトでは、Python, Rust, C++が最も一般的なプログラミング言語です。

3

#inference-serverリポジトリのランキングはどのように算出されていますか?

#inference-serverのタグが付いた13件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は53,014個で、リポジトリあたりの平均は4,078個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。