Git Stars Git Stars

#llm-inference 仓库

探索 202 个标记为 #llm-inference 的活跃开源 GitHub 仓库,它们累计获得 1,046,424 个 Star(平均每个项目 5,180 个)。该主题的领先项目是 deepseek-ai/DeepSeek-V3,拥有 104,417 个 Star。

202
仓库总数
1.0M
总星标数
5,180
平均每个仓库星标数

共 202 个仓库

⭐ 104,417 Python 👤 deepseek-ai Organization 🕐 已更新 2025-08-28 📅 创建时间 2024-12-26
2
nomic-ai/gpt4all

GPT4All:在任何设备上运行本地LLM。开源且可商用。

nomic-ai
⭐ 77,352 C++ 👤 nomic-ai Organization 🕐 已更新 2025-05-27 📅 创建时间 2023-03-27
3
oobabooga/textgen

用于本地大语言模型的开源桌面应用程序。支持文本、视觉、工具调用,兼容 OpenAI/Anthropic API。100% 隐私保护。

oobabooga
⭐ 47,736 Python 👤 oobabooga User 🕐 已更新 2026-08-17 📅 创建时间 2022-12-21
4
ray-project/ray

Ray 是一个 AI 计算引擎。Ray 由核心分布式运行时和一套用于加速 ML 工作负载的 AI 库组成。

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2016-10-25
5
microsoft/BitNet

1比特LLM的官方推理框架

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 已更新 2026-07-27 📅 创建时间 2024-08-05
6
gitleaks/gitleaks

使用 Gitleaks 查找秘密 🔑

gitleaks
⭐ 31,234 Go 👤 gitleaks Organization 🕐 已更新 2026-10-28 📅 创建时间 2018-01-27
7
QwenLM/Qwen3

Qwen3是阿里云Qwen团队开发的语言大模型系列。

QwenLM
⭐ 27,753 Python 👤 QwenLM Organization 🕐 已更新 2026-01-09 📅 创建时间 2024-02-05
8
Hannibal046/Awesome-LLM

Awesome-LLM: 精选的大型语言模型列表

Hannibal046
⭐ 27,212 👤 Hannibal046 User 🕐 已更新 2025-07-31 📅 创建时间 2023-02-17
9
google-ai-edge/gallery

一个展示设备端机器学习/生成式AI用例的画廊,并允许用户在本地试用和使用模型。

google-ai-edge
⭐ 25,398 Kotlin 👤 google-ai-edge Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-03-31
10
liguodongiot/llm-action

本项目旨在分享大模型相关技术原理以及实战经验(大模型工程化、大模型应用落地)

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 已更新 2026-10-14 📅 创建时间 2023-05-23
11
deepseek-ai/DeepSeek-OCR

光学压缩上下文

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 已更新 2026-01-27 📅 创建时间 2025-10-17
12
kvcache-ai/ktransformers

一种用于体验异构大语言模型推理/微调优化的灵活框架

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 已更新 2026-11-13 📅 创建时间 2024-07-26
13
karpathy/llama2.c

纯C语言文件中的 Llama 2 推理

karpathy
⭐ 19,062 C 👤 karpathy User 🕐 已更新 2024-08-06 📅 创建时间 2023-07-23
14
Stability-AI/StableLM

StableLM: Stability AI 语言模型

Stability-AI
⭐ 15,784 Jupyter Notebook 👤 Stability-AI Organization 🕐 已更新 2024-04-08 📅 创建时间 2023-04-19
15
mindverse/Second-Me

训练你的AI自我,放大你,连接世界

mindverse
⭐ 15,688 Python 👤 mindverse Organization 🕐 已更新 2025-09-30 📅 创建时间 2025-03-16
16
Lightning-AI/litgpt

20+ 个高性能 LLM,提供大规模预训练、微调和部署的方案。

Lightning-AI
⭐ 13,757 Python 👤 Lightning-AI Organization 🕐 已更新 2026-11-10 📅 创建时间 2023-05-04
17
deepseek-ai/FlashMLA

FlashMLA:高效的多头隐式注意力核

deepseek-ai
⭐ 13,275 C++ 👤 deepseek-ai Organization 🕐 已更新 2026-10-27 📅 创建时间 2025-02-21
18
bentoml/OpenLLM

在云端将 DeepSeek 和 Llama 等任何开源 LLM 作为 OpenAI 兼容的 API 端点运行。

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 已更新 2026-11-16 📅 创建时间 2023-04-19
19
FareedKhan-dev/kimi-k3-in-c

一个拥有 2.78 万亿参数的 Kimi K3 模型,在单核 CPU 和 8.24 GB 内存下运行推理。可移植 C99 代码:无 BLAS,无框架,无 GPU。

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 已更新 2026-11-16 📅 创建时间 2026-08-01
20
openvinotoolkit/openvino

OpenVINO™ 是一个用于优化和部署 AI 推理的开源工具包。

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 已更新 2026-11-21 📅 创建时间 2018-10-15
21
mistralai/mistral-inference

Mistral模型的官方推理库

mistralai
⭐ 10,809 Jupyter Notebook 👤 mistralai Organization 🕐 已更新 2026-04-20 📅 创建时间 2023-09-27
22
abetlen/llama-cpp-python

llama.cpp 的 Python 绑定

abetlen
⭐ 10,691 Python 👤 abetlen User 🕐 已更新 2026-11-21 📅 创建时间 2023-03-23
23
Tiiny-AI/PowerInfer

适用于本地部署的高速大型语言模型服务

Tiiny-AI
⭐ 9,893 C++ 👤 Tiiny-AI Organization 🕐 已更新 2026-05-11 📅 创建时间 2023-12-15
24
bentoml/BentoML

提供 AI 应用和模型的最简单方式 - 构建模型推理 API、工作队列、LLM 应用、多模型管道等!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 已更新 2026-11-17 📅 创建时间 2019-04-02
25
ai-dynamo/dynamo

一个数据中心规模的分布式推理服务框架

ai-dynamo
⭐ 8,542 Rust 👤 ai-dynamo Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-03-03
26
bojieli/ai-infra-book

《深入理解 AI Infra:量化分析与系统设计》(李博杰 著)开源书稿:从硬件约束和模型架构出发,量化推导 LLM 推理与训练系统设计。含全书正文、PDF、配套计算工具与实验

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 已更新 2026-10-01 📅 创建时间 2026-08-22
27
InternLM/lmdeploy

LMDeploy 是一个用于压缩、部署和提供 LLM 的工具包。

InternLM
⭐ 8,153 Python 👤 InternLM Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-06-15
28
algorithmicsuperintelligence/openevolve

AlphaEvolve 的开源实现

algorithmicsuperintelligence
⭐ 7,835 Python 👤 algorithmicsuperintelligence Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-05-15
29
drumih/turbo-fieldfare

在任何 M 系列 MacBook 上以约 2 GB 内存运行 Gemma 4 26B-A4B 推理

drumih
⭐ 7,432 Swift 👤 drumih User 🕐 已更新 2026-11-14 📅 创建时间 2026-07-17
30
mit-han-lab/streaming-llm

[ICLR 2024] 具备注意力汇聚点的流式高效语言模型

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 已更新 2024-07-11 📅 创建时间 2023-09-29
31
katanemo/plano

Plano 是一个面向智能体应用的AI原生代理服务器和数据平面。提供智能LLM路由、可观测性、智能体编排和安全护栏,让您专注于智能体的核心逻辑。

katanemo
⭐ 7,118 Rust 👤 katanemo Organization 🕐 已更新 2026-10-24 📅 创建时间 2024-07-09
32
google/gemma.cpp

Google Gemma 模型轻量级独立 C++ 推理引擎。

google
⭐ 7,089 C++ 👤 google Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-02-13
33
deepseek-ai/DeepSeek-Coder-V2

DeepSeek-Coder-V2:打破代码智能领域闭源模型的壁垒

deepseek-ai
⭐ 7,030 👤 deepseek-ai Organization 🕐 已更新 2025-11-11 📅 创建时间 2024-06-14
34
karminski/one-small-step

这是一个简单的技术科普教程项目,主要聚焦于解释一些有趣的,前沿的技术概念和原理。每篇文章都力求在 5 分钟内阅读完成。

karminski
⭐ 7,006 Python 👤 karminski User 🕐 已更新 2026-03-08 📅 创建时间 2025-01-16
35
flashinfer-ai/flashinfer

FlashInfer: LLM推理服务内核库

flashinfer-ai
⭐ 6,982 Cuda 👤 flashinfer-ai Organization 🕐 已更新 2026-11-21 📅 创建时间 2023-07-22
36
simplescaling/s1

s1: 简单的测试时间缩放

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 已更新 2025-06-25 📅 创建时间 2025-02-01
37
lemonade-sdk/lemonade

Lemonade 通过直接从用户自己的 GPU 和 NPU 提供优化的 LLM,帮助用户发现和运行本地 AI 应用。加入我们的 Discord:https://discord.gg/5xXzkMu8Zk

lemonade-sdk
⭐ 6,262 C++ 👤 lemonade-sdk Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-05-15
38
kserve/kserve

用于Kubernetes上可扩展、多框架部署的标准分布式生成和预测AI推理平台

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-03-27
39
meta-pytorch/gpt-fast

python < 1000 LOC 内实现简单高效的 Pytorch 原生 Transformer 文本生成。

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 已更新 2025-08-22 📅 创建时间 2023-10-17
40
cactus-compute/engine

面向消费级设备的 2 位量化、内核和运行时。

cactus-compute
⭐ 6,200 C++ 👤 cactus-compute Organization 🕐 已更新 2026-11-05 📅 创建时间 2025-04-23
41
gpustack/gpustack

一个用于高性能 AI 模型服务(vLLM, SGLang)和按需 SSH 访问 GPU 实例的 GPU 集群管理器。

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-05-11
42
Michael-A-Kuykendall/shimmy

⚡ 纯 Rust 编写的 WebGPU 推理引擎 — 兼容 OpenAI API,原生支持 GGUF,可在任何 GPU 上运行。无需 Python。无需 llama.cpp。单一二进制文件。

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 已更新 2026-11-12 📅 创建时间 2025-08-28
43
alexzhang13/rlm

用于递归语言模型 (RLM) 的通用即插即用推理库,支持各种沙盒环境。

alexzhang13
⭐ 5,776 Python 👤 alexzhang13 User 🕐 已更新 2026-11-21 📅 创建时间 2025-12-20
44
sgl-project/mini-sglang

SGLang 的一个紧凑实现,旨在揭开现代 LLM 服务系统复杂性的神秘面纱。

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 已更新 2026-05-17 📅 创建时间 2025-09-01
45
xlite-dev/Awesome-LLM-Inference

📚精选的超棒 LLM/VLM 推理论文及代码列表:Flash-Attention、Paged-Attention、WINT8/4、并行化等。🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 已更新 2026-10-20 📅 创建时间 2023-08-27
46
superduper-io/superduper

Superduper:用于构建自定义 AI 应用程序和代理的端到端框架。

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 已更新 2025-09-01 📅 创建时间 2022-08-30
47
ztxz16/fastllm

fastllm 是一个不依赖后端的高性能大模型推理库,帮助您在大多数设备上高效运行大模型推理!

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 已更新 2026-11-21 📅 创建时间 2023-05-13
48
deepseek-ai/DeepSeek-V2

DeepSeek-V2:一个强大、经济且高效的专家混合语言模型

deepseek-ai
⭐ 4,988 👤 deepseek-ai Organization 🕐 已更新 2024-09-25 📅 创建时间 2024-04-22
49
FellouAI/eko

Eko (Eko 持续运行) - 使用自然语言构建生产就绪的 Agentic Workflow - eko.fellou.ai

FellouAI
⭐ 4,963 TypeScript 👤 FellouAI Organization 🕐 已更新 2026-03-03 📅 创建时间 2024-11-23
50
ruvnet/RuVector

RuVector 提供高性能的实时决策与智能体记忆、自学习人工智能,以及采用 Rust 构建的向量 GNN 数据库。

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 已更新 2026-11-21 📅 创建时间 2025-11-19

常见问题解答

1

GitHub 上最受欢迎的 #llm-inference 仓库是什么?

GitHub 上排名第一的开源 #llm-inference 项目是 deepseek-ai/DeepSeek-V3,拥有 104,417 个 Star。

2

#llm-inference 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #llm-inference 项目中,最常见的编程语言是 Python, C++, Rust, Go。

3

#llm-inference 仓库的排名是如何计算的?

我们跟踪了 202 个标记为 #llm-inference 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 1,046,424 个 Star,平均每个仓库拥有 5,180 个 Star。排名每日根据 GitHub API 更新。