Git Stars Git Stars

#llm-inference 仓库

202
仓库总数
1.0M
总星标数
5,180
平均每个仓库星标数

共 202 个仓库

51
turboderp-org/exllamav2

在现代消费级GPU上本地运行LLM的快速推理库

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 已更新 2026-03-04 📅 创建时间 2023-08-30
52
openai/harmony

用于 gpt-oss 的 harmony 响应格式的渲染器

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 已更新 2026-04-08 📅 创建时间 2025-07-31
53
CalvinXKY/InfraTech

分享AI Infra知识&代码练习:PyTorch、vLLM/SGLang、slime/vime框架入门⚡️、性能加速🚀、大模型基础🧠、AI软硬件🔧等

CalvinXKY
⭐ 4,411 Jupyter Notebook 👤 CalvinXKY User 🕐 已更新 2026-09-20 📅 创建时间 2025-11-14
54
algorithmicsuperintelligence/optillm

优化 LLM 的推理代理

algorithmicsuperintelligence
⭐ 4,343 Python 👤 algorithmicsuperintelligence Organization 🕐 已更新 2026-11-16 📅 创建时间 2024-08-22
55
NVIDIA/GenerativeAIExamples

针对加速的基础设施和微服务架构优化的生成式AI参考工作流。

NVIDIA
⭐ 4,235 Jupyter Notebook 👤 NVIDIA Organization 🕐 已更新 2026-11-06 📅 创建时间 2023-10-19
56
raullenchai/Rapid-MLX

Rapid-MLX 是一个开源(Apache 2.0)的 LLM 推理服务器,适用于 Apple Silicon,兼容 OpenAI 和 Anthropic,基于 MLX 构建,专注于为编程代理提供可靠的工具调用功能。在使用相同模型权重的情况下,速度最高可达 Apple 的 MLX(mlx-lm)的 4 倍。

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 已更新 2026-11-21 📅 创建时间 2026-02-25
57
predibase/lorax

可扩展至数千个微调 LLM 的 Multi-LoRA 推理服务器

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 已更新 2026-05-28 📅 创建时间 2023-10-20
58
hemansnation/AI-Engineer-Headquarters

一套用于构建故事和模型的科学方法、流程、算法和系统。

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 已更新 2026-10-28 📅 创建时间 2022-03-29
59
amitshekhariitbhu/ai-engineering-interview-questions

AI工程面试备忘单 – 问题与答案。

amitshekhariitbhu
⭐ 3,707 Markdown 👤 amitshekhariitbhu User 🕐 已更新 2026-11-21 📅 创建时间 2026-03-21
60
xjdr-alt/entropix

基于熵的采样和并行CoT解码

xjdr-alt
⭐ 3,434 Python 👤 xjdr-alt User 🕐 已更新 2024-11-13 📅 创建时间 2024-10-03
61
ikawrakow/ik_llama.cpp

带有附加 SOTA 量化和性能改进的 llama.cpp 分支 fork

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 已更新 2026-11-21 📅 创建时间 2024-06-27
⭐ 3,377 Python 👤 danielgross User 🕐 已更新 2024-02-25 📅 创建时间 2023-10-01
63
b4rtaz/distributed-llama

分布式LLM推理。将家用设备连接成强大的集群,以加速LLM推理。设备越多,推理越快。

b4rtaz
⭐ 3,141 C++ 👤 b4rtaz User 🕐 已更新 2026-11-17 📅 创建时间 2023-12-04
64
mw00/project-maya

在您自己的 GPU 上运行 GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)和 Hy4-Flash(220B)——最低仅需 8 GB 显存,支持 NVIDIA 和 AMD,统一仪表板,并提供兼容 OpenAI 和 Anthropic 的 API。

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-06
65
spiceai/spiceai

为您的操作数据库添加实时分析节点。Spice 是一个用 Rust 编写的可移植、加速 SQL 查询、搜索和 LLM 推理引擎,专为基于数据的 AI 应用和智能体而设计。

spiceai
⭐ 3,132 Rust 👤 spiceai Organization 🕐 已更新 2026-11-21 📅 创建时间 2021-08-08
66
qwopqwop200/GPTQ-for-LLaMa

使用GPTQ对LLaMA进行4位量化

qwopqwop200
⭐ 3,077 Python 👤 qwopqwop200 User 🕐 已更新 2024-07-13 📅 创建时间 2023-03-06
67
luminal-ai/luminal

光速推理。

luminal-ai
⭐ 3,064 Rust 👤 luminal-ai Organization 🕐 已更新 2026-11-19 📅 创建时间 2023-07-18
69
syv-ai/HyperQwen

在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 已更新 2026-11-10 📅 创建时间 2026-08-15
70
youssofal/MTPLX

在 Mac 上运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 和 Ternary Bonsai 2 27B 的最快方式:在 M5 Max 上通过 OpenCode 达到 125 token/秒,并可在 16 GB Mac 上运行 27B 模型。在 Apple Silicon 上原生支持 MTP 推测解码,在任何温度下都能保持精确。兼容 OpenAI 和 Anthropic 的本地服务器。

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 已更新 2026-11-21 📅 创建时间 2026-05-02
71
vllm-project/production-stack

vLLM 针对 K8S 原生集群级部署的参考系统,具备社区驱动的性能优化

vllm-project
⭐ 2,729 Python 👤 vllm-project Organization 🕐 已更新 2026-11-07 📅 创建时间 2025-01-21
72
FasterDecoding/Medusa

Medusa:具有多个解码头的加速 LLM 生成的简单框架

FasterDecoding
⭐ 2,684 Jupyter Notebook 👤 FasterDecoding Organization 🕐 已更新 2024-06-25 📅 创建时间 2023-09-10
73
mirage-project/mirage

Mirage Persistent Kernel:将LLM编译成一个MegaKernel

mirage-project
⭐ 2,625 Cuda 👤 mirage-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-05-08
74
incoai/splash

一款围绕该模型构建的 Apple 芯片本地推理引擎。

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 已更新 2026-11-17 📅 创建时间 2026-09-18
75
Nano-Collective/nanocoder

一个专为终端打造的开源编程代理,由社区集体而非公司构建。使用你自己的模型,将代码保留在本地,无需受制于任何人。

Nano-Collective
⭐ 2,582 TypeScript 👤 Nano-Collective Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-07-30
76
SafeAILab/EAGLE

EAGLE-1 (ICML'24)、EAGLE-2 (EMNLP'24) 和 EAGLE-3 (NeurIPS'25) 的官方实现。

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 已更新 2026-02-20 📅 创建时间 2023-12-07
77
databricks/dbrx

DBRX(Databricks 开发的大型语言模型)的代码示例和资源

databricks
⭐ 2,578 Python 👤 databricks Organization 🕐 已更新 2024-05-01 📅 创建时间 2024-03-26
78
Jittor/JittorLLMs

计图大模型推理库,具有高性能、配置要求低、中文支持好、可移植等特点

Jittor
⭐ 2,419 Python 👤 Jittor User 🕐 已更新 2025-02-22 📅 创建时间 2023-04-02
79
ashhart/TensorFold

适用于 Metal、CUDA 和 Vulkan 的大语言模型推理引擎。

ashhart
⭐ 2,364 Zig 👤 ashhart User 🕐 已更新 2026-11-21 📅 创建时间 2026-06-19
80
datawhalechina/zero-to-sglang

SGLang x Datawhale 官方大语言模型推理课程:理解推理原理,从零构建一个迷你版 SGLang,然后阅读真正的 SGLang 源码并提交你的第一个 PR。课程提供英文和中文版本。

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 已更新 2026-11-17 📅 创建时间 2026-08-27
82
cfregly/ai-performance-engineering

O'Reilly AI 系统性能工程的代码、实验和资源:GPU 优化、分布式训练、推理扩展和全栈调优。

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 已更新 2026-11-19 📅 创建时间 2025-04-21
83
neuron-core/neuron-ai

PHP 生态系统中的智能体框架,用于构建生产就绪的 AI 驱动应用程序。将组件(LLM、工具、向量数据库、内存)连接到与您的数据和 UI 进行交互的智能体。

neuron-core
⭐ 2,179 PHP 👤 neuron-core Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-03-02
84
pallavi-shekhar/ai-engineering-interview-questions-company-wise

顶尖 AI 公司人工智能工程师面试速查表——问题与答案。

pallavi-shekhar
⭐ 2,098 Markdown 👤 pallavi-shekhar User 🕐 已更新 2026-11-21 📅 创建时间 2026-09-19
85
microsoft/aici

AICI: 将提示作为(Wasm)程序

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 已更新 2025-01-22 📅 创建时间 2023-09-26
86
SemiAnalysisAI/InferenceX

开源推理研究平台

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-07-12
87
ovg-project/kvcached

虚拟化弹性 KV 缓存:动态 GPU 共享及未来应用

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-05-27
88
AtomicBot-ai/Atomic-Chat

面向智能体的本地 AI 应用程序和推理引擎。在您的计算机上本地运行开源权重 LLM — 私密、100% 离线。加入我们的 Discord:https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-03-31
89
kimjammer/Neuro

Neuro-Sama 的重现,最初在 7 天内完成。

kimjammer
⭐ 1,960 Python 👤 kimjammer User 🕐 已更新 2025-01-17 📅 创建时间 2024-01-07
90
liltom-eth/llama2-webui

在任何地方(Linux/Windows/Mac)使用 GPU 或 CPU 通过 gradio UI 本地运行任何 Llama 2。将 `llama2-wrapper` 作为您的本地 llama2 后端,用于生成式代理/应用。

liltom-eth
⭐ 1,954 Jupyter Notebook 👤 liltom-eth User 🕐 已更新 2024-03-22 📅 创建时间 2023-07-20
91
tile-ai/TileRT

用于超低延迟LLM推理的基于平铺的运行时

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 已更新 2026-09-24 📅 创建时间 2025-11-12
92
XiongjieDai/GPU-Benchmarks-on-LLM-Inference

用于大型语言模型推理的多个NVIDIA GPU或Apple Silicon?

XiongjieDai
⭐ 1,862 Jupyter Notebook 👤 XiongjieDai User 🕐 已更新 2024-05-13 📅 创建时间 2023-07-19
93
beam-cloud/beta9

超快速无服务器 GPU 推理、沙箱和后台任务

beam-cloud
⭐ 1,858 Go 👤 beam-cloud Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-11-15
94
turboderp-org/exllamav3

一款优化的量化和推理库,用于在现代消费级 GPU 上本地运行 LLM

turboderp-org
⭐ 1,853 Python 👤 turboderp-org Organization 🕐 已更新 2026-11-19 📅 创建时间 2025-04-06
95
vllm-project/guidellm

评估和增强您的 LLM 部署以满足实际推理需求

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-05-29
96
software-mansion/react-native-executorch

高性能、隐私优先的 React Native 端侧 AI 推理库,由 PyTorch 的 ExecuTorch 运行时提供支持

software-mansion
⭐ 1,794 TypeScript 👤 software-mansion Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-10-16
97
janhq/awesome-local-ai

本地人工智能工具的绝佳存储库

janhq
⭐ 1,791 👤 janhq Organization 🕐 已更新 2024-11-13 📅 创建时间 2023-09-06
99
LlamaEdge/LlamaEdge

在本地或边缘运行定制和微调LLM的最简单快捷的方法

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 已更新 2026-02-08 📅 创建时间 2023-10-09
100
Nutlope/turboseek

受Perplexity启发的AI搜索引擎

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 已更新 2026-10-23 📅 创建时间 2024-05-26