Git Stars Git Stars

#llm-inference リポジトリ

202
リポジトリ総数
1.0M
合計スター数
5,180
リポジトリあたりの平均スター数

リポジトリ合計202件

101
AnswerDotAI/rerankers

すべての一般的な再ランキングおよびクロスエンコーダーモデルを使用するための、軽量、低依存、統合API。

AnswerDotAI
⭐ 1,644 Python 👤 AnswerDotAI Organization 🕐 更新日時 2025-12-20 📅 作成日 2024-03-06
102
xLLM-AI/xllm

多様なAIアクセラレーター向けに最適化された、LLM、VLM、DiTモデル用の高性能推論エンジンです。OpenAtom Foundationでホストされています。

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 更新日時 2026-11-21 📅 作成日 2025-08-12
103
autonomous-ai/Personal-AI-Computer

オープンソースのAIコンピューター構成をご紹介。GPU 2基搭載のデスクトップから8基搭載のサーバーまで、CAD、部品表、BIOS設定、組み立てガイドを提供します。PCIeライザー付きケースキットをお求めいただくか、無料の適合確認をお問い合わせください。

autonomous-ai
⭐ 1,601 👤 autonomous-ai Organization 🕐 更新日時 2026-11-05 📅 作成日 2025-08-22
104
mit-han-lab/smoothquant

[ICML 2023] SmoothQuant: 大規模言語モデルのための正確で効率的な学習後量子化

mit-han-lab
⭐ 1,576 Python 👤 mit-han-lab Organization 🕐 更新日時 2024-07-12 📅 作成日 2022-11-17
105
jax-ml/scaling-book

TPU上でLLMをスケーリングするための短いブログスタイルの教科書「How To Scale Your Model」のホーム

jax-ml
⭐ 1,537 SCSS 👤 jax-ml Organization 🕐 更新日時 2026-10-19 📅 作成日 2025-02-03
106
theroyallab/tabbyAPI

Exllamaの公式APIサーバー。OAI互換、軽量、高速。

theroyallab
⭐ 1,531 Python 👤 theroyallab Organization 🕐 更新日時 2026-11-14 📅 作成日 2023-11-10
107
felladrin/awesome-ai-web-search

AIの支援を受けてウェブを検索できるソフトウェアのリスト:https://hf.co/spaces/felladrin/awesome-ai-web-search

felladrin
⭐ 1,521 HTML 👤 felladrin User 🕐 更新日時 2026-11-21 📅 作成日 2024-11-09
108
sauravpanda/BrowserAI

llama, deepseek-distill, kokoroなどのローカルLLMをブラウザ内で実行する

sauravpanda
⭐ 1,451 TypeScript 👤 sauravpanda User 🕐 更新日時 2026-07-21 📅 作成日 2025-01-08
109
Nutlope/pdftochat

AIでPDFとチャットする

Nutlope
⭐ 1,444 TypeScript 👤 Nutlope User 🕐 更新日時 2026-10-23 📅 作成日 2023-09-09
110
taielab/awesome-hacking-lists

複数のドメインにわたる、厳選された一流のペネトレーションテストツールと生産性ユーティリティのコレクションです。ぜひご参加ください。ハッキングツールキットを探求し、貢献し、強化しましょう!

taielab
⭐ 1,404 👤 taielab User 🕐 更新日時 2025-12-04 📅 作成日 2020-06-12
112
lean-dojo/LeanCopilot

Leanにおける定理証明のためのコパイロットとしてのLLM

lean-dojo
⭐ 1,347 C++ 👤 lean-dojo Organization 🕐 更新日時 2026-11-16 📅 作成日 2023-09-09
113
hemingkx/SpeculativeDecodingPapers

📰 Speculative Decoding に関する必読論文とブログ ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 更新日時 2026-06-27 📅 作成日 2023-09-20
114
aigrantsindia/aigrantsindia

AIハッカソン用のAPIキーを取得

aigrantsindia
⭐ 1,287 👤 aigrantsindia User 🕐 更新日時 2025-06-09 📅 作成日 2025-02-22
115
wici-ai/inferssd

SSDからMoEエキスパートをストリーミングすることで、RAMやVRAMの容量を超えるモデルを実行できます。llama.cppをベースに構築。

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 更新日時 2026-11-20 📅 作成日 2026-10-22
116
patchy631/time-to-first-token

LLM推論のサービングと最適化のための、1日30分・10週間のロードマップ。vLLM、SGLang、量子化、推測デコーディング、ベンチマーク。

patchy631
⭐ 1,245 HTML 👤 patchy631 User 🕐 更新日時 2026-08-14 📅 作成日 2026-08-02
117
Azure/AzurePublicDataset

Microsoft Azure Traces

Azure
⭐ 1,231 Jupyter Notebook 👤 Azure Organization 🕐 更新日時 2026-11-17 📅 作成日 2017-08-18
118
eagle-hq/EAGLE-4

EAGLE-4の公式推論コード

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 更新日時 2026-11-13 📅 作成日 2026-10-20
119
jmaczan/tiny-vllm

C++とCUDAで独自の高性能LLM推論エンジンを構築 - vLLMの小型版

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 更新日時 2026-11-15 📅 作成日 2026-02-09
120
StayLameBro/backburner

iPhoneがMacによる270億パラメータモデルの実行を支援:USB-Cケーブル経由でプロンプトの読み込みが高速化し、より長いコンテキストに対応

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 更新日時 2026-11-07 📅 作成日 2026-10-01
121
Tencent/hpc-ops

高性能LLM推論オペレーターライブラリ

Tencent
⭐ 1,193 C++ 👤 Tencent Organization 🕐 更新日時 2026-11-19 📅 作成日 2026-01-20
122
character-ai/prompt-poet

ローコードアプローチにより、開発者と非技術ユーザーの両方にとってプロンプト設計を合理化および簡素化します。

character-ai
⭐ 1,160 Python 👤 character-ai Organization 🕐 更新日時 2026-02-12 📅 作成日 2024-07-17
123
microsoft/onnxruntime-genai

ONNX Runtime を使った生成 AI

microsoft
⭐ 1,158 C++ 👤 microsoft Organization 🕐 更新日時 2026-11-17 📅 作成日 2023-11-13
⭐ 1,090 Python 👤 thinking-machines-lab Organization 🕐 更新日時 2025-11-04 📅 作成日 2025-09-10
125
zhuzilin/ring-flash-attention

フラッシュアテンションによるリングアテンションの実装

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 更新日時 2025-09-10 📅 作成日 2024-02-21
126
jondurbin/airoboros

Self-Instruct論文のカスタマイズ可能な実装。

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 更新日時 2024-03-07 📅 作成日 2023-04-29
⭐ 1,041 Python 👤 huggingface Organization 🕐 更新日時 2026-09-24 📅 作成日 2023-10-06
128
tspeterkim/flash-attention-minimal

CUDA約100行のFlash Attention(フォワードパスのみ)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 更新日時 2024-12-30 📅 作成日 2024-03-07
⭐ 1,033 CSS 👤 susiai Organization 🕐 更新日時 2026-01-20 📅 作成日 2017-11-25
⭐ 1,027 Python 👤 microsoft Organization 🕐 更新日時 2024-01-04 📅 作成日 2023-07-17
132
MoonshotAI/checkpoint-engine

Checkpoint-engineは、LLM推論エンジンでモデルの重みを更新するためのシンプルなミドルウェアです

MoonshotAI
⭐ 1,026 Python 👤 MoonshotAI Organization 🕐 更新日時 2026-10-22 📅 作成日 2025-09-08
133
shyamsaktawat/OpenAlpha_Evolve

OpenAlpha_Evolveは、DeepMindのAlphaEvolveのような自律コーディングエージェントに関する画期的な研究に着想を得たオープンソースのPythonフレームワークです。

shyamsaktawat
⭐ 1,021 Python 👤 shyamsaktawat User 🕐 更新日時 2025-05-31 📅 作成日 2025-05-17
134
tingaicompass/AI-Compass

"AI-Compass"は、コミュニティにAI技術の海を航行する方向を示します。初心者でも上級開発者でも、ここでAIの主要な方向への道筋を見つけることができます。開発者がAIの核となる概念、主流技術、最先端トレンドを体系的に理解し、実践を通じて理論から実装までの全プロセスを習得できるよう支援することを目的としています。

tingaicompass
⭐ 1,000 Python 👤 tingaicompass User 🕐 更新日時 2026-11-20 📅 作成日 2025-05-27
135
likejazz/llama3.np

llama3.npは、Llama 3モデルの純粋なNumPy実装です。

likejazz
⭐ 991 Python 👤 likejazz User 🕐 更新日時 2025-04-27 📅 作成日 2024-05-13
136
convergence-ai/proxy-lite

プロキシアシスタントのミニ、オープンウェイトバージョンです。

convergence-ai
⭐ 989 Python 👤 convergence-ai Organization 🕐 更新日時 2025-02-26 📅 作成日 2025-02-10
137
feder-cr/jev

jevos:JevおよびMicrosoft-Decision-1に代わるオープンソースの選択肢。ノートPCのCPU上で、確率付きのYes/No判定、選択、スコアリングを実行できます。

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 更新日時 2026-10-18 📅 作成日 2024-08-15
138
dalisoft/awesome-hosting

最小プラン価格でソートされた素晴らしいホスティングのリスト

dalisoft
⭐ 970 👤 dalisoft User 🕐 更新日時 2026-11-21 📅 作成日 2019-05-31
139
microsoft/T-MAC

ルックアップテーブルによるCPU/NPUでの低ビットLLM推論

microsoft
⭐ 964 C++ 👤 microsoft Organization 🕐 更新日時 2025-06-05 📅 作成日 2024-02-02
140
triton-inference-server/tensorrtllm_backend

Triton TensorRT-LLM バックエンド

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 更新日時 2026-11-02 📅 作成日 2023-09-12
141
foldl/chatllm.cpp

お使いのコンピューター(CPUおよびGPU)でのリアルタイムチャット用の複数のモデルの純粋なC++実装

foldl
⭐ 942 C++ 👤 foldl User 🕐 更新日時 2026-11-15 📅 作成日 2023-12-02
142
guidance-ai/llguidance

超高速構造化出力

guidance-ai
⭐ 917 Rust 👤 guidance-ai Organization 🕐 更新日時 2026-11-18 📅 作成日 2024-07-25
143
kubernetes-sigs/lws

LeaderWorkerSet & DisaggregatedSet:分散型および分離型AIサービングのためのKubernetes API

kubernetes-sigs
⭐ 909 Go 👤 kubernetes-sigs Organization 🕐 更新日時 2026-11-20 📅 作成日 2024-02-22
144
zhihu/ZhiLight

Llama およびそのバリアント向けの高度に最適化された LLM 推論アクセラレーション エンジン。

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 更新日時 2026-03-18 📅 作成日 2024-12-06
145
harleyszhang/llm_note

モデル推論、トランスフォーマーモデル構造、LLMフレームワークコード分析ノートを含むLLMノート。

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 更新日時 2026-08-19 📅 作成日 2024-09-18
148
YassKhazzan/openperplex_backend_os

openperplexはオープンソースのAI検索エンジンです

YassKhazzan
⭐ 889 Python 👤 YassKhazzan User 🕐 更新日時 2024-08-04 📅 作成日 2024-08-03
149
HazyResearch/Megakernels

メガサイズのカーネル :)

HazyResearch
⭐ 885 Python 👤 HazyResearch Organization 🕐 更新日時 2026-05-26 📅 作成日 2025-05-27
150
eastriverlee/LLM.swift

LLM.swiftは、macOS、iOS、watchOS、tvOS、visionOSで大規模言語モデルと簡単にローカルで対話できる、シンプルで読みやすいライブラリです。

eastriverlee
⭐ 883 Swift 👤 eastriverlee User 🕐 更新日時 2026-07-19 📅 作成日 2023-12-02