Git Stars Git Stars

#llm-inference 仓库

202
仓库总数
1.0M
总星标数
5,180
平均每个仓库星标数

共 202 个仓库

151
nace-ai/kapitsa

为 Qwen 和 Nemotron 优化的极速 Apple Silicon 推理引擎。兼容 OpenAI 和 Anthropic API。由 nace.ai 团队打造。

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-10-16
152
warpfront/hipfire

基于RDNA的Rust LLM推理引擎。

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-03-21
153
mukel/llama3.java

纯Java中的Llama 3+推理

mukel
⭐ 818 Java 👤 mukel User 🕐 已更新 2026-04-24 📅 创建时间 2024-04-25
154
vince-lam/awesome-local-llms

通过指标比较兼容的开源本地大语言模型项目,以评估其受欢迎程度和活跃度。

vince-lam
⭐ 816 Python 👤 vince-lam User 🕐 已更新 2026-11-16 📅 创建时间 2024-02-29
155
ARahim3/kaggle-tpu-lab

在免费的 Kaggle TPU v5e-8 上运行前沿级开源模型:GLM-5.3-Flash 320B MoE(约 165 token/秒,采用我们自研的 JAX 引擎)和 Qwen3.8-27B bf16(约 130 token/秒),支持 262K 上下文和前缀缓存。可与 Claude Code、Codex、opencode 和 pi 配合使用。

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 已更新 2026-10-06 📅 创建时间 2026-08-31
156
tetherto/qvac

开源本地 AI SDK——无需云端和 API 密钥,即可在设备上运行 AI。支持 GGUF、RAG、图像、音乐和视频生成、语音转文字、P2P 推理等功能。跨平台支持:Linux、macOS、Windows、Android、iOS。

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-01-03
157
SimpleBerry/LLaMA-O1

大型推理模型

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 已更新 2024-12-03 📅 创建时间 2024-10-10
158
D-Keqi/mtla

MTLA: 多头时序潜在注意力

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 已更新 2025-10-06 📅 创建时间 2025-05-19
159
microsoft/BitBLAS

BitBLAS 是一个支持混合精度矩阵乘法的库,尤其适用于量化 LLM 的部署。

microsoft
⭐ 751 Python 👤 microsoft Organization 🕐 已更新 2025-08-06 📅 创建时间 2024-02-23
160
pegainfer-project/pegainfer

纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-02-17
161
ARahim3/mlx-dspark

在 Apple Silicon 上实现最高 4 倍速的 LLM 解码,且无损。DeepSeek 的 DSpark 和 z-lab 的 DFlash 推测解码的原生 MLX 移植版——支持 Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0 以及三值 Bonsai-27B。

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 已更新 2026-11-08 📅 创建时间 2026-06-29
162
Avarok-Cybersecurity/atlas

纯Rust推理引擎

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 已更新 2026-11-16 📅 创建时间 2026-05-05
163
ghimiresunil/LLM-PowerHouse-A-Curated-Guide-for-Large-Language-Models-with-Custom-Training-and-Inferencing

LLM-PowerHouse:通过精选的教程、最佳实践和即用型代码,释放 LLM 的潜力,以实现自定义训练和推理。

ghimiresunil
⭐ 734 Jupyter Notebook 👤 ghimiresunil User 🕐 已更新 2026-03-13 📅 创建时间 2023-05-28
164
stoyan-stoyanov/llmflows

LLMFlows - 简单、明确、透明的 LLM 应用

stoyan-stoyanov
⭐ 706 Python 👤 stoyan-stoyanov User 🕐 已更新 2025-02-20 📅 创建时间 2023-06-26
165
feifeibear/long-context-attention

USP: 面向长上下文Transformer模型训练与推理的统一(又称混合、2D)序列并行注意力

feifeibear
⭐ 697 Python 👤 feifeibear User 🕐 已更新 2026-09-16 📅 创建时间 2024-03-27
167
MDK8888/GPTFast

将您的 Hugging Face Transformers 加速 7.6-9 倍。原生支持 Hugging Face 和 PyTorch。

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 已更新 2024-08-22 📅 创建时间 2024-02-18
168
google-deepmind/recurrentgemma

来自Google DeepMind的开源权重语言模型,基于Griffin。

google-deepmind
⭐ 686 Python 👤 google-deepmind Organization 🕐 已更新 2026-02-06 📅 创建时间 2024-03-25
169
carloslfu/slotstream

在无法容纳 105 GB 模型的 Mac 上运行它。Qwen3.8-Flash-Next 4-bit,可从 SSD 流式加载,在配备 16–64 GB 内存的 Apple Silicon Mac 上运行。完全采用原生 Swift、MLX 和 Metal。离线运行,无需 Python。提供 CLI、Swift 库以及 Ollama/OpenAI/Anthropic API。兼容 Claude Code 和 Codex。

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 已更新 2026-11-17 📅 创建时间 2026-08-28
170
run-ai/genv

LLM支持的GPU环境和集群管理

run-ai
⭐ 657 Python 👤 run-ai Organization 🕐 已更新 2024-05-16 📅 创建时间 2022-09-04
172
NightMean/OlliteRT

将你的 Android 手机变成兼容 OpenAI 的大语言模型推理服务器——完全本地化、私密且开源

NightMean
⭐ 645 Kotlin 👤 NightMean User 🕐 已更新 2026-11-07 📅 创建时间 2026-04-06
173
NotPunchnox/rkllama

Rockchip NPU 的 Ollama 替代方案:用于在 Rockchip 设备上运行 AI 和深度学习模型的高效解决方案,优化了 NPU 支持(rkllm)

NotPunchnox
⭐ 631 Python 👤 NotPunchnox User 🕐 已更新 2026-10-28 📅 创建时间 2024-12-30
174
sixgpt/miner

SixGPT官方矿工

sixgpt
⭐ 611 Shell 👤 sixgpt Organization 🕐 已更新 2024-12-19 📅 创建时间 2024-10-06
175
felladrin/MiniSearch

极简网页搜索平台,内置AI助手,可直接在浏览器中运行。演示:https://felladrin-minisearch.hf.space

felladrin
⭐ 611 TypeScript 👤 felladrin User 🕐 已更新 2026-11-21 📅 创建时间 2023-10-14
176
jaylfc/taOS

自托管 AI 智能体操作系统。您的记忆、聊天记录、智能体和文件都存储在您拥有的硬件上,默认离线,云端可选。具备离线 AI 记忆 (taOSmd)、自托管多框架群聊、完整的 Web 桌面 + 应用商店,以及跨您现有消费级硬件(Orange/Raspberry Pi、Mac mini、游戏 PC)的自动集群功能。

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 已更新 2026-11-20 📅 创建时间 2026-04-05
177
andrewkchan/yalm

另一个语言模型:C++/CUDA中的LLM推理,除I/O外无任何库

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 已更新 2025-09-13 📅 创建时间 2024-10-02
178
huggingface/swift-chat

演示 swift-transformers 的 Mac 应用

huggingface
⭐ 592 Swift 👤 huggingface Organization 🕐 已更新 2024-07-29 📅 创建时间 2023-05-11
179
zjhellofss/KuiperLLama

校招、秋招、春招、实习好项目,带你从零动手实现支持LLama2/3和Qwen2.5的大模型推理框架。

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 已更新 2025-10-28 📅 创建时间 2024-04-25
180
kacper-daftcode/vLLM-Moet

RTX PRO 6000 / RTX 5090 (sm_120) 上的前沿 MoE 模型:在 4 张 RTX PRO 6000 上运行 DeepSeek-V4.1-Flash、在 4 张 RTX 5090 上采用 GPU+CPU 混合方案,以及在 vLLM v0.24.0 上运行 2 位专家模型

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 已更新 2026-11-18 📅 创建时间 2026-06-15
181
SakanaAI/treequest

用于LLM推理时扩展的灵活API的树搜索库

SakanaAI
⭐ 580 Python 👤 SakanaAI Organization 🕐 已更新 2026-11-08 📅 创建时间 2025-06-30
182
devflowinc/uzi

用于使用 git worktrees 并行运行大量编码代理的 CLI

devflowinc
⭐ 579 Go 👤 devflowinc Organization 🕐 已更新 2025-06-04 📅 创建时间 2025-05-27
183
rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 已更新 2025-04-01 📅 创建时间 2023-10-22
184
StartLuxLabs/StartLux-Prism

在 NVIDIA GPU 上对 StartLux-Decision 模型进行快速、精确推理:已发布的 GGUF 文件通过 /v1/systemone API 使用 int8 和 4 位张量核心运行,在 FP8 下延迟比 vLLM 最高降低 5.3 倍,且答案逐位一致。

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 已更新 2026-10-27 📅 创建时间 2026-10-13
185
yassa9/qwen600

无静态、精简、单批次、仅 CUDA 的 qwen3-0.6B 小型推理引擎

yassa9
⭐ 559 Cuda 👤 yassa9 User 🕐 已更新 2025-09-08 📅 创建时间 2025-09-06
186
01-ai/Yi-1.5

Yi-1.5是Yi的升级版本,在编码、数学、推理和指令遵循能力方面提供了更强的性能。

01-ai
⭐ 557 👤 01-ai Organization 🕐 已更新 2024-11-11 📅 创建时间 2024-05-10
189
Noeda/rllama

Rust+OpenCL+AVX2 实现的 LLaMA 推理代码

Noeda
⭐ 551 Rust 👤 Noeda User 🕐 已更新 2024-02-12 📅 创建时间 2023-03-11
190
OmniJev/Flide

🔥🔥 面向决策模型的超高速推理引擎

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-10-24
191
Indras-Mirror/Xolotl

Xolotl:在一台游戏 PC(RTX 4090 + 110 GB RAM)上,将完整的 552B 参数 DeepSeek-V4.1-Flash 作为本地编程代理运行:代理模式约 33 tok/s,快速模式约 41 tok/s,支持 512K 上下文。此外还有 Inkling-2-Mini(Thinking Machines,自有引擎 + MTP 草拟器)、GLM-5.3-Flash、Qwen3.8、LFM3-Omni。MoE 专家分层部署于 VRAM、RAM 和 NVMe 之间(Xolotl Direct)。支持 OpenAI + Anthropic API。

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-06
192
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: 带有检索和流式头的高效长上下文 LLM 推理

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 已更新 2025-02-10 📅 创建时间 2024-10-15
193
microsoft/sarathi-serve

用于大语言模型(LLM)的低延迟、高吞吐量服务引擎

microsoft
⭐ 539 Python 👤 microsoft Organization 🕐 已更新 2026-11-17 📅 创建时间 2023-11-02
194
v-modal/awesome-jev-tools

为 Jev 精心整理的工具列表——TypeSafe AI 的 System One 类型化决策模型。

v-modal
⭐ 537 👤 v-modal Organization 🕐 已更新 2026-11-15 📅 创建时间 2026-09-19
195
brontoguana/krasis

Krasis 是一个混合型 LLM 运行时,专注于在显存受限的消费级硬件上高效运行大型模型

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 已更新 2026-11-12 📅 创建时间 2026-02-09
196
ome-projects/ome

Open Model Engine (OME) —— 用于大语言模型服务部署、GPU 调度和模型生命周期管理的 Kubernetes Operator。支持 SGLang、vLLM、TensorRT-LLM 和 Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-05-19
197
amitshekhariitbhu/llm-inference-engineering

循序渐进地学习大语言模型推理工程:从 KV 缓存、PagedAttention 和连续批处理,到 vLLM、SGLang 和 GPU。

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 已更新 2026-11-09 📅 创建时间 2026-08-18
198
huawei-csl/KVarN

KVarN 是专为您的智能体打造的原生 vLLM KV 缓存量化后端:上下文容量提升 3–5 倍,吞吐量超越 FP16,精度达到 FP16 级别。无需校准,只需一个参数。

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 已更新 2026-06-22 📅 创建时间 2026-05-29
199
expectedparrot/edsl

设计、开展并分析由人工智能驱动的调查和实验结果。利用大量人工智能代理和大型语言模型,模拟社会科学研究和市场调研。

expectedparrot
⭐ 521 Python 👤 expectedparrot Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-01-02
200
turboderp-org/exui

ExLlamaV2 的 Web UI

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 已更新 2025-02-05 📅 创建时间 2023-10-29