Git Stars Git Stars

#inference リポジトリ

#inferenceのタグが付いた、GitHub上の144件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は870,238個で、プロジェクトあたりの平均は6,043個です。このトピックをリードしているのは、97,302個のスターを獲得しているvllm-project/vllmです。

144
リポジトリ総数
870,238
合計スター数
6,043
リポジトリあたりの平均スター数

リポジトリ合計144件

1
vllm-project/vllm

LLM向けの高性能・メモリ効率の高い推論およびサービングエンジン

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-02-09
2
ultralytics/yolov5

PyTorchベースのUltralytics YOLOv5。物体検出、インスタンスセグメンテーション、分類、トレーニング、エクスポートに対応。

ultralytics
⭐ 58,290 Python 👤 ultralytics Organization 🕐 更新日時 2026-11-16 📅 作成日 2020-05-18
3
ggml-org/whisper.cpp

C/C++におけるOpenAIのWhisperモデルのポート

ggml-org
⭐ 55,392 C++ 👤 ggml-org Organization 🕐 更新日時 2026-11-20 📅 作成日 2022-09-25
4
deepspeedai/DeepSpeed

DeepSpeed は、分散トレーニングと推論を簡単で効率的かつ効果的にするディープラーニング最適化ライブラリです。

deepspeedai
⭐ 43,348 Python 👤 deepspeedai Organization 🕐 更新日時 2026-11-21 📅 作成日 2020-01-23
5
hpcaitech/ColossalAI

大規模なAIモデルをより安く、速く、アクセスしやすくする

hpcaitech
⭐ 41,421 Python 👤 hpcaitech Organization 🕐 更新日時 2026-11-19 📅 作成日 2021-10-28
6
sgl-project/sglang

SGLangは、大規模言語モデルおよびマルチモーダルモデルのための高性能サービングフレームワークです。

sgl-project
⭐ 38,899 Python 👤 sgl-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-01-08
7
google-ai-edge/mediapipe

クロスプラットフォーム、カスタマイズ可能な ML ソリューション。ライブおよびストリーミングメディア向け。

google-ai-edge
⭐ 37,769 C++ 👤 google-ai-edge Organization 🕐 更新日時 2026-11-21 📅 作成日 2019-06-13
8
SYSTRAN/faster-whisper

CTranslate2 による高速 Whisper 転写

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 更新日時 2026-11-12 📅 作成日 2023-02-11
9
Tencent/ncnn

ncnn は、モバイルプラットフォーム向けに最適化された高性能ニューラルネットワーク推論フレームワークです

Tencent
⭐ 24,082 C++ 👤 Tencent Organization 🕐 更新日時 2026-11-21 📅 作成日 2017-06-30
10
stas00/ml-engineering

機械学習エンジニアリングオープンブック

stas00
⭐ 19,738 Python 👤 stas00 User 🕐 更新日時 2026-11-20 📅 作成日 2020-09-02
11
FlashML-org/FreeToken

FreeTokenは、データセンター規模のモデルサービングをデスクトップにもたらします。巨大なモデルをローカルで高速かつ効率的に実行できます。

FlashML-org
⭐ 17,522 Python 👤 FlashML-org User 🕐 更新日時 2026-11-21 📅 作成日 2026-07-20
⭐ 16,519 Python 👤 GeeeekExplorer User 🕐 更新日時 2026-04-26 📅 作成日 2025-06-09
13
gvergnaud/ts-pattern

🎨 TypeScript用の網羅的なパターンマッチングライブラリ。スマートな型推論機能を搭載。

gvergnaud
⭐ 15,224 TypeScript 👤 gvergnaud User 🕐 更新日時 2026-11-20 📅 作成日 2020-05-24
14
NVIDIA/TensorRT

NVIDIA® TensorRT™ は、NVIDIA GPU 上での高性能なディープラーニング推論のための SDK です。このリポジトリには TensorRT のオープンソース コンポーネントが含まれています。

NVIDIA
⭐ 13,475 C++ 👤 NVIDIA Organization 🕐 更新日時 2026-11-18 📅 作成日 2019-05-02
15
LMCache/LMCache

LMCache: 最速のKVキャッシュ層でLLMをスーパーチャージ

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-05-28
16
openvinotoolkit/openvino

OpenVINO™ は、AI 推論の最適化とデプロイのためのオープンソースツールキットです。

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 更新日時 2026-11-21 📅 作成日 2018-10-15
17
triton-inference-server/server

Triton Inference Server は、クラウドおよびエッジでの推論に最適化されたソリューションを提供します。

triton-inference-server
⭐ 11,156 Python 👤 triton-inference-server Organization 🕐 更新日時 2026-11-20 📅 作成日 2018-10-04
18
aws/amazon-sagemaker-examples

🧠 Amazon SageMaker を使用して機械学習モデルを構築、訓練、展開する方法を示す例 📓 Jupyter ノートブック。

aws
⭐ 11,020 Jupyter Notebook 👤 aws Organization 🕐 更新日時 2026-10-14 📅 作成日 2017-10-23
19
huggingface/text-generation-inference

大規模言語モデルテキスト生成推論

huggingface
⭐ 10,812 Python 👤 huggingface Organization 🕐 更新日時 2026-01-08 📅 作成日 2022-10-08
20
ultralytics/yolov3

リアルタイム物体検出のためのYOLOv3、YOLOv3-SPP、およびYOLOv3-tinyのPyTorch実装。トレーニング、検証、推論、およびマルチフォーマットのエクスポートをサポート。

ultralytics
⭐ 10,647 Python 👤 ultralytics Organization 🕐 更新日時 2026-11-07 📅 作成日 2018-08-26
21
RunanywhereAI/runanywhere-sdks

AIをローカルで実行するための本番環境対応ツールキット

RunanywhereAI
⭐ 10,354 C++ 👤 RunanywhereAI Organization 🕐 更新日時 2026-11-10 📅 作成日 2025-07-22
22
xorbitsai/inference

言語、ビジョン、埋め込み、再ランキング、画像、音声、動画モデルに対応したオープンソースの推論プラットフォーム。複数のエンジンを使い、ノートPCから分散クラスターまで、異種ハードウェア環境にデプロイできます。OpenAI互換APIを通じてモデルを提供します。

xorbitsai
⭐ 9,667 Python 👤 xorbitsai Organization 🕐 更新日時 2026-11-21 📅 作成日 2023-06-14
23
oumi-ai/oumi

Qwen、Gemma、または任意のオープンなエージェント型LLM/VLMを簡単にファインチューニング(SFT/RL)し、評価してデプロイできます!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-05-07
24
dusty-nv/jetson-inference

Hello AI World: TensorRT と NVIDIA Jetson を使用したディープラーニング推論ネットワークおよびディープビジョンプリミティブのデプロイガイド。

dusty-nv
⭐ 9,015 C++ 👤 dusty-nv User 🕐 更新日時 2025-10-16 📅 作成日 2016-07-30
25
vllm-project/vllm-omni

オムニモダリティモデルを用いた効率的なモデル推論のためのフレームワーク

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-09-11
26
Human-Agent-Society/reef

継続的に自己改善するエージェントのためのインフラストラクチャ

Human-Agent-Society
⭐ 7,652 Python 👤 Human-Agent-Society Organization 🕐 更新日時 2026-11-21 📅 作成日 2026-08-31
27
mizorewww/laya-mlx

Laya の型付き意思決定モデル向けネイティブ MLX ランタイム — M3 Max 上で短い意思決定を 7~14 ms で実行。テキスト生成、PyTorch、クラウド API は使用しません。

mizorewww
⭐ 7,115 Python 👤 mizorewww User 🕐 更新日時 2026-11-21 📅 作成日 2026-09-19
28
kvcache-ai/Mooncake

Mooncakeは、Moonshot AIが提供する主要なLLMサービスであるKimiのサービングプラットフォームです。

kvcache-ai
⭐ 7,100 C++ 👤 kvcache-ai Organization 🕐 更新日時 2026-11-21 📅 作成日 2024-06-25
29
gcanti/io-ts

IOデコード/エンコード用ランタイム型システム

gcanti
⭐ 6,812 TypeScript 👤 gcanti User 🕐 更新日時 2024-12-10 📅 作成日 2017-01-28
30
vllm-project/semantic-router

モデルとコンピューティングのための、オープンでプログラム可能な意思決定レイヤー。

vllm-project
⭐ 6,514 Go 👤 vllm-project Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-08-26
31
argmaxinc/argmax-oss-swift

Apple Silicon 向けオンデバイス音声 AI

argmaxinc
⭐ 6,471 Swift 👤 argmaxinc Organization 🕐 更新日時 2026-10-27 📅 作成日 2024-01-26
32
Trusted-AI/adversarial-robustness-toolbox

敵対的頑健性ツールボックス (ART) - 機械学習セキュリティのための Python ライブラリ - 回避、中毒、抽出、推論 - レッドチームとブルーチーム

Trusted-AI
⭐ 6,322 Python 👤 Trusted-AI Organization 🕐 更新日時 2026-11-13 📅 作成日 2018-03-15
33
gpustack/gpustack

高性能AIモデルサービング(vLLM、SGLang)およびオンデマンドのSSHアクセス可能なGPUインスタンスのためのGPUクラスターマネージャー。

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-05-11
34
llm-d/llm-d

Kubernetes上で最新のアクセラレーターを活用した最先端の推論性能

llm-d
⭐ 5,325 Python 👤 llm-d Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-04-29
35
superduper-io/superduper

Superduper: カスタムAIアプリケーションとエージェントを構築するためのエンドツーエンドフレームワーク。

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 更新日時 2025-09-01 📅 作成日 2022-08-30
36
tencentmusic/cube-studio

cube studio オープンソース クラウドネイティブ ワンストップ 機械学習/深層学習/大規模AIプラットフォーム, MLOps アルゴリズムリンク全プロセス, 計算能力レンタルプラットフォーム, Notebook オンライン開発, ドラッグ&ドロップ タスクフローパイプラインオーケストレーション, マルチマシンマルチGPU分散学習, ハイパーパラメータ検索, 推論サービスVGPU仮想化, エッジコンピューティング, ラベリングプラットフォーム自動ラベリング, deepseekなどの大規模モデルsftファインチューニング/報酬モデル/強化学習、vllm/ollama/mindieなどの大規模モデルマルチマシン推論, プライベート知識ベース, AIモデルマーケット, 国産CPU/GPU/NPU 昇騰エコシステム対応, RDMA対応, pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcanoなどの分散対応

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 更新日時 2026-10-09 📅 作成日 2021-08-17
37
NVIDIA-AI-IOT/torch2trt

使いやすい PyTorch から TensorRT へのコンバーター

NVIDIA-AI-IOT
⭐ 4,840 Python 👤 NVIDIA-AI-IOT Organization 🕐 更新日時 2024-08-17 📅 作成日 2019-04-27
38
hao-ai-lab/FastVideo

ビデオ生成を加速するための統一された推論およびトレーニング後フレームワーク。

hao-ai-lab
⭐ 4,833 Python 👤 hao-ai-lab Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-10-24
39
OpenNMT/CTranslate2

Transformer モデル用の高速推論エンジン

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 更新日時 2026-11-21 📅 作成日 2019-09-23
40
Tencent/TNN

TNN: Tencent Youtu LabとGuangying Labによって開発された、モバイル、デスクトップ、サーバー用の統一されたディープラーニング推論フレームワークです。TNNは、クロスプラットフォーム機能、高性能、モデル圧縮、コードプルーニングなど、いくつかの優れた機能によって区別されます。ncnnとRapidnetに基づき、TNNはモバイルデバイスのサポートとパフォーマンス最適化をさらに強化し、既存のオープンソースの取り組みからの優れた拡張性と高性能という利点も取り入れています。

Tencent
⭐ 4,635 C++ 👤 Tencent Organization 🕐 更新日時 2025-05-09 📅 作成日 2020-05-29
41
typedb/typedb

TypeDB: レコードのためではなく、システムのために構築されています

typedb
⭐ 4,524 Rust 👤 typedb Organization 🕐 更新日時 2026-11-19 📅 作成日 2016-07-11
42
openvinotoolkit/open_model_zoo

事前訓練済みディープラーニングモデルとデモ(高品質で非常に高速)

openvinotoolkit
⭐ 4,440 Python 👤 openvinotoolkit Organization 🕐 更新日時 2026-11-16 📅 作成日 2018-10-15
43
zml/zml

あらゆるモデル。あらゆるハードウェア。妥協なし。@ziglang / @openxla / MLIR / @bazelbuild で構築

zml
⭐ 4,292 Zig 👤 zml Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-09-17
44
uxlfoundation/oneDNN

CPU(x64、AArch64、RISC-V)およびIntel GPU向けの、最適化されたディープラーニング演算(行列乗算、畳み込み、アテンション)のオープンソースライブラリ。PyTorch、TensorFlow、OpenVINO、ONNX Runtimeで使用されています。

uxlfoundation
⭐ 4,094 C++ 👤 uxlfoundation Organization 🕐 更新日時 2026-11-21 📅 作成日 2016-05-09
45
OpenCSGs/csghub

CSGHubは、OpenCSGチームによって開発された、LLMを管理するためのまったく新しいオープンソースプラットフォームです。Hugging Faceに匹敵する機能を備えた、オープンソースおよびオンプレミス/SaaSソリューションの両方を提供します。Hugging FaceとのPython SDK互換性により、LLM、データセット、エージェントのライフサイクルを完全に制御します。ぜひご参加ください!⭐️

OpenCSGs
⭐ 4,083 Vue 👤 OpenCSGs Organization 🕐 更新日時 2026-11-13 📅 作成日 2024-01-12
46
FlashML-org/FreeVideo

今お持ちのコンピューターで動画を作成できます。FreeVideoは、わずか8GBのVRAMと16GBのRAMでMiniMax H3を実行し、お使いのハードウェアに合わせてアクセラレーション経路を調整します。

FlashML-org
⭐ 4,049 Python 👤 FlashML-org User 🕐 更新日時 2026-11-20 📅 作成日 2026-09-13
47
PaddlePaddle/FastDeploy

PaddlePaddleベースのLLMおよびVLM向けの高性能推論およびデプロイメントツールキット

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 更新日時 2026-09-24 📅 作成日 2022-06-27
48
superlinked/sie

エージェントが必要とするすべてのモデルのためのオープンソース推論サーバーとプロダクションクラスター。

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 更新日時 2026-11-20 📅 作成日 2023-11-07
49
huggingface/optimum

使いやすいハードウェア最適化ツールで、🤗 Transformers、Diffusers、TIMM、Sentence Transformers の推論とトレーニングを高速化します

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 更新日時 2026-11-16 📅 作成日 2021-07-20
50
zjhellofss/KuiperInfer

新卒採用、秋採用、春採用、インターンシップの良いプロジェクト! Llama2、Unet、Yolov5、Resnetなどの大規模モデルの推論をサポートする高性能ディープラーニング推論ライブラリをゼロから段階的に実装する方法を説明します。高性能ディープラーニング推論ライブラリを段階的に実装してください。

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 更新日時 2025-06-22 📅 作成日 2022-11-21

よくある質問

1

GitHubで最も人気のある#inferenceリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#inferenceプロジェクトは、97,302個のスターを獲得しているvllm-project/vllmです。LLM向けの高性能・メモリ効率の高い推論およびサービングエンジン

2

#inferenceリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#inferenceプロジェクトでは、Python, C++, TypeScript, Jupyter Notebookが最も一般的なプログラミング言語です。

3

#inferenceリポジトリのランキングはどのように算出されていますか?

#inferenceのタグが付いた144件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は870,238個で、リポジトリあたりの平均は6,043個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。