Git Stars Git Stars

#inference-optimization リポジトリ

#inference-optimizationのタグが付いた、GitHub上の41件のアクティブなオープンソースリポジトリをご覧ください。合計スター数は86,309個で、プロジェクトあたりの平均は2,105個です。このトピックをリードしているのは、12,902個のスターを獲得しているlllyasviel/stable-diffusion-webui-forgeです。

41
リポジトリ総数
86,309
合計スター数
2,105
リポジトリあたりの平均スター数

リポジトリ合計41件

2
THUDM/slime

slimeは、強化学習のスケーリングに向けたLLM学習フレームワークです。

THUDM
⭐ 8,856 Python 👤 THUDM Organization 🕐 更新日時 2026-11-05 📅 作成日 2025-06-18
3
deepseek-ai/open-infra-index

効率的なAGI開発とコミュニティ主導のイノベーションのための、本番検証済みAIインフラストラクチャツール

deepseek-ai
⭐ 8,007 👤 deepseek-ai Organization 🕐 更新日時 2025-05-15 📅 作成日 2025-02-21
4
microsoft/LLMLingua

[EMNLP'23, ACL'24] LLMの推論を高速化し、LLMの主要情報に対する認識を強化するために、プロンプトとKVキャッシュを圧縮し、パフォーマンスの低下を最小限に抑えながら最大20倍の圧縮を実現します。

microsoft
⭐ 6,846 Python 👤 microsoft Organization 🕐 更新日時 2026-11-09 📅 作成日 2023-07-07
5
QwenLM/Qwen3.8

Qwen3.8は、Alibaba GroupのQwenチームが開発した大規模言語モデルシリーズです。

QwenLM
⭐ 4,459 👤 QwenLM Organization 🕐 更新日時 2026-08-17 📅 作成日 2025-09-11
7
syv-ai/HyperQwen

実際に所有しているGPUで、大規模なQwenモデルを高速にサーブします。vLLMを使い、24 GBのカード1枚でQwen3.8-27Bを実行:単一ユーザーで127 tok/s(回答がプロンプトを引用する場合は381 tok/s)、64並列で約1,035 tok/s、コンテキスト長は150k~262k。vLLMのパッチ、再量子化パイプライン、ベンチマーク。

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 更新日時 2026-11-10 📅 作成日 2026-08-15
8
google/XNNPACK

モバイル、サーバー、Web向けの高性能浮動小数点ニューラルネットワーク推論演算子

google
⭐ 2,506 C 👤 google Organization 🕐 更新日時 2026-11-21 📅 作成日 2019-09-13
9
XiaomiMiMo/MiMo

MiMo:言語モデルの推論能力を解き放つ – 事前学習から事後学習まで

XiaomiMiMo
⭐ 2,411 Python 👤 XiaomiMiMo Organization 🕐 更新日時 2026-10-29 📅 作成日 2025-04-26
10
AmberLJC/LLMSys-PaperList

大規模言語モデル(LLM)システム論文リスト

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 更新日時 2026-10-20 📅 作成日 2023-06-06
11
facebookresearch/blt

BLT研究論文のコード

facebookresearch
⭐ 2,070 Python 👤 facebookresearch Organization 🕐 更新日時 2025-11-03 📅 作成日 2024-12-09
12
NUS-HPC-AI-Lab/VideoSys

VideoSys: ビデオ生成のための簡単で効率的なシステム

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 更新日時 2025-08-27 📅 作成日 2024-02-17
13
NVIDIA/Stable-Diffusion-WebUI-TensorRT

Stable Diffusion Web UI 用 TensorRT 拡張機能

NVIDIA
⭐ 1,994 Python 👤 NVIDIA Organization 🕐 更新日時 2024-06-14 📅 作成日 2023-10-10
14
ChenyangSi/FreeU

FreeU:Diffusion U-Netにおける無料ランチ(CVPR2024口頭発表)

ChenyangSi
⭐ 1,892 👤 ChenyangSi User 🕐 更新日時 2024-12-24 📅 作成日 2023-09-14
15
llmgenai/LLMInterviewQuestions

このリポジトリには、Google、Nvidia、Meta、Microsoft、Fortune 500企業などのトップ企業で出題されるLLM(大規模言語モデル)の面接問題が含まれています。

llmgenai
⭐ 1,781 👤 llmgenai User 🕐 更新日時 2025-02-12 📅 作成日 2024-12-26
16
chengzeyi/Comfy-WaveSpeed

https://wavespeed.ai/ [WIP] ComfyUI のオールインワン推論最適化ソリューション、ユニバーサル、柔軟、高速。

chengzeyi
⭐ 1,235 Python 👤 chengzeyi User 🕐 更新日時 2026-08-21 📅 作成日 2024-11-27
17
EdjeElectronics/TensorFlow-Object-Detection-on-the-Raspberry-Pi

Raspberry Pi で TensorFlow の Object Detection API を設定する方法を示すチュートリアル

EdjeElectronics
⭐ 1,156 Python 👤 EdjeElectronics User 🕐 更新日時 2024-08-10 📅 作成日 2018-06-05
18
gpu-mode/awesomeMLSys

MLシステムオンボーディングリスト

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 更新日時 2026-02-19 📅 作成日 2024-05-06
19
huggingface/search-and-learn

オープンモデルの推論時間コンピューティングをスケーリングするためのレシピ

huggingface
⭐ 1,134 Python 👤 huggingface Organization 🕐 更新日時 2026-09-23 📅 作成日 2024-12-09
21
allenai/OLMoE

OLMoE: オープンエキスパート混合言語モデル

allenai
⭐ 1,087 Jupyter Notebook 👤 allenai Organization 🕐 更新日時 2025-09-23 📅 作成日 2024-06-22
22
onnx/onnx-mlir

MLIRコンパイラインフラストラクチャにおけるONNXモデルの表現と参照の低減

onnx
⭐ 1,072 MLIR 👤 onnx Organization 🕐 更新日時 2026-11-13 📅 作成日 2020-02-18
23
mryab/efficient-dl-systems

効率的な深層学習システムのコース教材

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 更新日時 2026-05-28 📅 作成日 2021-12-06
24
hzwer/Practical-RIFE

より実用的なフレーム補間アプローチ。

hzwer
⭐ 1,050 Python 👤 hzwer User 🕐 更新日時 2026-08-27 📅 作成日 2021-06-16
25
daixiangzi/Awesome-Token-Compress

VitおよびVLMのトークン圧縮に関する最近のいくつかの作業の論文リスト

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 更新日時 2026-11-13 📅 作成日 2024-09-06
26
FoundationVision/Waver

統一されたテキストからビデオ(T2V)および画像からビデオ(I2V)生成のための業界レベルのビデオ基盤モデル。

FoundationVision
⭐ 952 👤 FoundationVision Organization 🕐 更新日時 2025-08-27 📅 作成日 2025-08-05
27
alibaba/BladeDISC

BladeDISCは、機械学習ワークロードのためのエンドツーエンドのダイナミックシェイプコンパイラプロジェクトです。

alibaba
⭐ 911 C++ 👤 alibaba Organization 🕐 更新日時 2024-12-30 📅 作成日 2021-12-20
28
lifeiteng/OmniSenseVoice

Omni SenseVoice: 単語のタイムスタンプによる高速音声認識 🗣️🎯

lifeiteng
⭐ 897 Python 👤 lifeiteng User 🕐 更新日時 2025-12-10 📅 作成日 2024-09-22
29
KohakuBlueleaf/a1111-sd-webui-lycoris

lycoris モデルをロードするための stable-diffusion-webui の拡張機能です。

KohakuBlueleaf
⭐ 894 Python 👤 KohakuBlueleaf User 🕐 更新日時 2024-02-16 📅 作成日 2023-04-09
30
aiola-lab/whisper-medusa

メデューサの頭と囁く

aiola-lab
⭐ 860 Python 👤 aiola-lab Organization 🕐 更新日時 2026-07-02 📅 作成日 2024-07-17
31
datawhalechina/llm-algo-leetcode

PyTorch、Triton、CUDAを使ってLLMのアルゴリズムとシステムを実践的に学習。『大規模言語モデルのアルゴリズムとシステム講座』では、モデルアーキテクチャと学習、事後学習、推論の高速化、性能と演算子の最適化を扱い、Notebook演習、解答解説、テスト、実験も用意しています。

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 更新日時 2026-11-16 📅 作成日 2026-04-01
32
tensorflow/runtime

TensorFlow の高性能でモジュール化されたランタイム

tensorflow
⭐ 754 C++ 👤 tensorflow Organization 🕐 更新日時 2025-09-04 📅 作成日 2020-04-24
33
IEIT-Yuan/Yuan-2.0

Yuan 2.0 大規模言語モデル

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 更新日時 2024-07-11 📅 作成日 2023-11-26
34
microsoft/VPTQ

VPTQ、柔軟で極低ビットの量子化アルゴリズム

microsoft
⭐ 683 Python 👤 microsoft Organization 🕐 更新日時 2026-08-04 📅 作成日 2024-08-13
36
HybridTalentComputing/cline-chinese

Cline中国語ローカライズ版。Clineは、お客様のIDE内で動作する自律的なプログラミングアシスタントであり、お客様の許可を得てファイルの作成/編集、コマンドの実行、ブラウザの使用などの機能を提供します。

HybridTalentComputing
⭐ 660 TypeScript 👤 HybridTalentComputing User 🕐 更新日時 2026-07-14 📅 作成日 2025-02-07
38
HazyResearch/aisys-building-blocks

基盤モデルのためのビルディングブロック。

HazyResearch
⭐ 587 👤 HazyResearch Organization 🕐 更新日時 2024-01-03 📅 作成日 2023-11-30
39
brontoguana/krasis

Krasisは、VRAMが制限されたコンシューマー向けハードウェア上で大規模モデルを効率的に実行することに重点を置いたハイブリッドLLMランタイムです

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 更新日時 2026-11-12 📅 作成日 2026-02-09
40
amitshekhariitbhu/llm-inference-engineering

KVキャッシュ、PagedAttention、連続バッチ処理から、vLLM、SGLang、GPUまで、LLM推論エンジニアリングを段階的に学びましょう。

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 更新日時 2026-11-09 📅 作成日 2026-08-18
41
YingqingHe/ScaleCrafter

[ICLR 2024 Spotlight] 推論時間での高解像度ビジュアル生成のためのScaleCrafter公式実装。

YingqingHe
⭐ 508 Python 👤 YingqingHe User 🕐 更新日時 2024-03-07 📅 作成日 2023-10-07

よくある質問

1

GitHubで最も人気のある#inference-optimizationリポジトリは何ですか?

GitHubで最も上位にランクインしているオープンソースの#inference-optimizationプロジェクトは、12,902個のスターを獲得しているlllyasviel/stable-diffusion-webui-forgeです。

2

#inference-optimizationリポジトリで最もよく使われているプログラミング言語は何ですか?

GitHubで上位にランクインしている#inference-optimizationプロジェクトでは、Python, Jupyter Notebook, C++, Cが最も一般的なプログラミング言語です。

3

#inference-optimizationリポジトリのランキングはどのように算出されていますか?

#inference-optimizationのタグが付いた41件のアクティブなオープンソースリポジトリ(スター500個以上)を追跡しています。合計スター数は86,309個で、リポジトリあたりの平均は2,105個です。ランキングはGitHub APIからのデータに基づいて毎日更新されます。