Git Stars Git Stars

#inference リポジトリ

144
リポジトリ総数
870,238
合計スター数
6,043
リポジトリあたりの平均スター数

リポジトリ合計144件

51
trymirai/uzu

AIモデル向けの高性能推論エンジン

trymirai
⭐ 3,378 Rust 👤 trymirai Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-06-23
52
openvinotoolkit/openvino_notebooks

📚 OpenVINO™ の Jupyter Notebook チュートリアル

openvinotoolkit
⭐ 3,245 Jupyter Notebook 👤 openvinotoolkit Organization 🕐 更新日時 2026-11-21 📅 作成日 2021-03-11
53
vllm-project/vllm-ascend

Huawei Ascend上のvLLM向けコミュニティ保守ハードウェアプラグイン

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-01-29
54
pytorch/ao

トレーニングおよび推論のための PyTorch ネイティブ量子化

pytorch
⭐ 3,032 Python 👤 pytorch Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-11-03
55
pykeio/ort

RustでのONNXモデルの高速ML推論とトレーニング

pykeio
⭐ 2,626 Rust 👤 pykeio Organization 🕐 更新日時 2026-11-18 📅 作成日 2022-11-26
56
data-infra/cube-studio

CubeStudioは、オープンソースのクラウドネイティブなオールインワンの機械学習/深層学習/大規模モデルAIプラットフォーム/MaaS/MLOps/人工知能プラットフォーム/訓練推論プラットフォームであり、アルゴリズムの全パイプライン、マルチテナント、計算能力レンタルプラットフォーム、トークン中継、ドラッグアンドドロップのタスクフローパイプラインオーケストレーション、マルチマシンマルチカード分散トレーニング、ハイパーパラメータ検索、推論サービス、VGPU仮想化、クラウドエッジデバイス連携、エッジコンピューティング、自動アノテーションプラットフォーム、DeepSeekなどの大規模モデルのSFTファインチューニング/報酬モデル/強化学習トレーニング、vLLM/Ollama/MindIEによる大規模モデルのマルチマシン推論、プライベート知識ベースLLMOpsエージェント、AIモデルマーケット、国産異種計算能力スケジューリング(昇騰、寒武紀、海光、モーアスレッド、沐曦など)のサポート、IB/RoCE/RDMAのサポート、信創サポートを提供します。

data-infra
⭐ 2,615 Python 👤 data-infra User 🕐 更新日時 2026-10-12 📅 作成日 2024-07-02
57
huggingface/huggingface.js

JavaScriptでHugging Faceを使用する

huggingface
⭐ 2,613 TypeScript 👤 huggingface Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-02-06
58
ddalcu/mlx-serve

Apple Silicon向けのネイティブLLM推論サーバー。OpenAIおよびAnthropic APIに対応。Python不要。ZigバックエンドとSwiftフロントエンドを採用したmacOSアプリで、チャット、音楽、音声、動画の生成に対応。

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 更新日時 2026-11-21 📅 作成日 2026-02-17
59
google/XNNPACK

モバイル、サーバー、Web向けの高性能浮動小数点ニューラルネットワーク推論演算子

google
⭐ 2,506 C 👤 google Organization 🕐 更新日時 2026-11-21 📅 作成日 2019-09-13
60
roboflow/inference

あらゆるコンピューターやエッジデバイスを、コンピュータービジョンプロジェクトのコマンドセンターに変えましょう。

roboflow
⭐ 2,500 Python 👤 roboflow Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-07-31
61
theagentrouter/agent-router

Envoy Gateway上に構築された生成AIサービスへの統合管理

theagentrouter
⭐ 2,428 Go 👤 theagentrouter Organization 🕐 更新日時 2026-11-19 📅 作成日 2024-10-21
62
adithya-s-k/AI-Engineering.academy

応用AIをマスターする、一度に一つのコンセプトずつ

adithya-s-k
⭐ 2,388 Jupyter Notebook 👤 adithya-s-k User 🕐 更新日時 2026-02-27 📅 作成日 2023-10-05
63
dstackai/dstack

異種 AI コンピューティングのための統合オーケストレーション層です。GPU クラウド、Kubernetes、仮想マシン、またはベアメタルクラスタ上で、コンピューティングリソースの管理と学習・推論の実行方法を標準化します。

dstackai
⭐ 2,319 Python 👤 dstackai Organization 🕐 更新日時 2026-11-20 📅 作成日 2022-01-04
64
mozilla-ai/any-llm

単一のインターフェースを使用してLLMプロバイダーと通信する

mozilla-ai
⭐ 2,265 Python 👤 mozilla-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-07-14
65
RightNow-AI/picolm

256 MB RAMを搭載した$10ボード上で1 億パラメータのLLMを走らせる

RightNow-AI
⭐ 2,218 C 👤 RightNow-AI Organization 🕐 更新日時 2026-02-22 📅 作成日 2026-02-19
66
magenta/magenta-js

Magenta.js: ブラウザにおける機械学習を用いた音楽とアートの生成

magenta
⭐ 2,136 TypeScript 👤 magenta Organization 🕐 更新日時 2026-06-22 📅 作成日 2018-03-26
67
tairov/llama2.mojo

純粋な🔥1つのファイルでのLlama 2推論

tairov
⭐ 2,126 Mojo 👤 tairov User 🕐 更新日時 2026-09-30 📅 作成日 2023-09-10
68
deepspeedai/DeepSpeed-MII

MIIはDeepSpeedによって、低遅延・高スループットの推論を可能にします。

deepspeedai
⭐ 2,107 Python 👤 deepspeedai Organization 🕐 更新日時 2025-06-30 📅 作成日 2022-03-23
69
microsoft/aici

AICI: (Wasm)プログラムとしてのプロンプト

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 更新日時 2025-01-22 📅 作成日 2023-09-26
70
SemiAnalysisAI/InferenceX

オープンソース推論研究プラットフォーム

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-07-12
71
sgl-project/sglang-omni

対話型スーパーインテリジェンスシステム向け高性能サービングランタイム

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-01-07
72
AgibotTech/agibot_x1_infer

AgiBot X1 の推論モジュール。

AgibotTech
⭐ 1,817 C++ 👤 AgibotTech Organization 🕐 更新日時 2025-04-03 📅 作成日 2024-10-23
73
StartLuxLabs/StartLux-Decision

0.8B〜27Bのオープンな意思決定モデル:1回の処理で各選択肢の確率を適切に較正して提示し、不確かな場合にのみ短い思考を示します。vLLM、llama.cpp、MLX向けエンジン。

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 更新日時 2026-10-23 📅 作成日 2026-09-29
74
theopenco/llmgateway

単一のAPIインターフェースで、複数のプロバイダーにまたがるLLMリクエストをルーティング、管理、分析します。

theopenco
⭐ 1,755 TypeScript 👤 theopenco Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-04-12
75
Maratyszcza/NNPACK

マルチコア CPU 上のニューラルネットワークのための加速パッケージ

Maratyszcza
⭐ 1,702 C 👤 Maratyszcza User 🕐 更新日時 2024-06-11 📅 作成日 2016-03-21
76
ELS-RD/transformer-deploy

🤗 Hugging Face Transformer モデル向けの、効率的でスケーラブル、エンタープライズグレードのCPU/GPU推論サーバー 🚀

ELS-RD
⭐ 1,689 Python 👤 ELS-RD Organization 🕐 更新日時 2024-10-23 📅 作成日 2021-10-31
77
RunanywhereAI/trnrt

AWS Trainium向けのオープンなLLM推論エンジン:NKIメガカーネル、100万トークンのコンテキスト、OpenAI互換API。RunAnywhere提供。

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-10-30
78
xLLM-AI/xllm

多様なAIアクセラレーター向けに最適化された、LLM、VLM、DiTモデル用の高性能推論エンジンです。OpenAtom Foundationでホストされています。

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-08-12
79
Delta-ML/delta

DELTAは、ディープラーニングベースの自然言語および音声処理プラットフォームです。LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/

Delta-ML
⭐ 1,602 Python 👤 Delta-ML Organization 🕐 更新日時 2025-04-16 📅 作成日 2019-05-29
80
utkuozdemir/nvidia_gpu_exporter

nvidia-smi バイナリまたは NVML を使用する Prometheus 用 NVIDIA GPU エクスポーター

utkuozdemir
⭐ 1,599 Go 👤 utkuozdemir User 🕐 更新日時 2026-11-20 📅 作成日 2021-06-08
81
Tencent/TurboTransformers

CPUおよびGPUでのTransformer推論(Bert、Albert、GPT2、Decodersなど)のための、高速でユーザーフレンドリーなランタイム。

Tencent
⭐ 1,546 C++ 👤 Tencent Organization 🕐 更新日時 2025-07-18 📅 作成日 2020-04-20
⭐ 1,503 Python 👤 Stability-AI Organization 🕐 更新日時 2025-01-08 📅 作成日 2024-10-09
83
sybil-solutions/inference-optimisation-skill

あらゆるハードウェアと量子化設定で、ローカルLLMのサービング速度(デコード、投機的デコード、プレフィル、KV、起動、TTFT)を段階的に最適化するエージェントスキル

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 更新日時 2026-11-16 📅 作成日 2026-11-16
84
alibaba/rtp-llm

RTP-LLM:Alibabaの多様なアプリケーション向け高性能LLM推論エンジン。

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-12-27
85
ebhy/budgetml

10行未満のコードで、予算内でML推論サービスをデプロイします。

ebhy
⭐ 1,345 Python 👤 ebhy Organization 🕐 更新日時 2024-02-12 📅 作成日 2020-12-27
86
StarlightSearch/EmbedAnything

Rust 🦀で構築された、高性能、モジュール式、メモリセーフで本番環境対応の推論、取り込み、インデックス作成

StarlightSearch
⭐ 1,334 Rust 👤 StarlightSearch Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-03-31
87
qualcomm/ai-hub-models

Qualcomm® AI Hub Modelsは、パフォーマンス(レイテンシ、メモリなど)が最適化され、Qualcomm®デバイスに展開できる最先端の機械学習モデルのコレクションです。

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-12-20
88
NVIDIA/kvpress

LLM KVキャッシュ圧縮を簡単に

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 更新日時 2026-11-16 📅 作成日 2024-11-06
89
FenTechSolutions/CausalDiscoveryToolbox

グラフおよびペアワイズ設定での因果推論のためのパッケージ。グラフ構造の回復と依存関係のためのツールが含まれています。

FenTechSolutions
⭐ 1,242 Python 👤 FenTechSolutions Organization 🕐 更新日時 2025-10-13 📅 作成日 2017-05-31
90
run-house/kubetorch

Kubernetes上でAIワークロードをPythonで魔法のように分散・実行します。これはMLインフラストラクチャのためのPyTorchのようなものです。

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 更新日時 2026-05-29 📅 作成日 2022-05-10
91
google/agentmesh

エージェントメッシュ

google
⭐ 1,208 Go 👤 google Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-04-21
92
jmaczan/tiny-vllm

C++とCUDAで独自の高性能LLM推論エンジンを構築 - vLLMの小型版

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 更新日時 2026-11-15 📅 作成日 2026-02-09
93
chrishayuk/larql

AIモデルの実行、提供、クエリ、編集が可能な、VINDEX3を基盤とするRust製モデルランタイム。VINDEX3は実行可能で検査可能なモデル形式です。

chrishayuk
⭐ 1,196 Rust 👤 chrishayuk User 🕐 更新日時 2026-11-21 📅 作成日 2026-03-27
94
usamahz/cpu-performance-engineering

CPUパフォーマンスエンジニアリングのための読書ガイド。1つの命令から本番環境での推論までを扱います。一次資料のみを使用し、各セクションに実行可能なベンチマークを用意しています。

usamahz
⭐ 1,160 Python 👤 usamahz User 🕐 更新日時 2026-10-08 📅 作成日 2026-09-17
95
receptron/laya

ONNX Runtime を介して、オープンソースで Jev 互換の System-1 意思決定モデル Laya を Node.js / TypeScript から実行

receptron
⭐ 1,092 TypeScript 👤 receptron Organization 🕐 更新日時 2026-10-17 📅 作成日 2026-09-19
96
Helldez/BigMoeOnEdge

RAMの容量を超えるMoEモデルを実行。スマートフォン、ノートPC、エッジデバイスで最先端クラスのMoEを。ロスレスで、標準のllama.cpp上で動作。適応型ストリーミングオプティマイザー。あらゆるハードウェア、OS、モデル、量子化に対応し、ローカルのOpenAI互換サーバー経由で利用できます。

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 更新日時 2026-11-21 📅 作成日 2026-07-10
97
jjang-ai/mlxstudio

MLX Studio — MacでLLMを実行する最も簡単な方法。オールインワンエンジン。

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 更新日時 2026-11-07 📅 作成日 2026-03-05
98
efeslab/Nanoflow

LLM向けのスループット指向高性能サービングフレームワーク

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 更新日時 2026-03-29 📅 作成日 2024-08-19
99
openvinotoolkit/model_server

OpenVINO™ で最適化されたモデル用のスケーラブルな推論サーバー

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-09-26
100
huawei-noah/bolt

Bolt は、高性能で異種の柔軟性を備えた深層学習ライブラリです。

huawei-noah
⭐ 958 C++ 👤 huawei-noah Organization 🕐 更新日時 2025-04-11 📅 作成日 2019-12-02