Git Stars Git Stars

#vllm 仓库

133
仓库总数
554,542
总星标数
4,169
平均每个仓库星标数

共 134 个仓库

101
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] 一个强大的工具包,用于压缩包括大型语言模型(LLMs)、大型视觉语言模型(VLMs)和视频生成模型在内的大型模型。

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 已更新 2026-05-14 📅 创建时间 2024-03-06
102
pegainfer-project/pegainfer

纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-02-17
103
smg-project/smg

基于 Rust 构建的引擎无关型 LLM 网关。全面兼容 OpenAI 和 Anthropic API,支持 vLLM、TRT-LLM、TokenSpeed、SGLang、OpenAI、Gemini 等更多平台。业界首创的 gRPC 流水线、感知 KV 缓存的路由、聊天历史记录、分词缓存、Responses API、嵌入、WASM 插件、MCP 以及多租户身份认证。

smg-project
⭐ 736 Rust 👤 smg-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-11-22
104
microsoft/vidur

精确、大规模且可扩展的LLM推理系统模拟器

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 已更新 2026-08-24 📅 创建时间 2023-11-02
106
SimonZeng7108/efficientsam3

EfficientSAM3 通过渐进式知识蒸馏将 SAM3 压缩成轻量级、边缘友好的模型,用于快速的可提示概念分割和跟踪。

SimonZeng7108
⭐ 713 Jupyter Notebook 👤 SimonZeng7108 User 🕐 已更新 2026-08-11 📅 创建时间 2025-10-16
⭐ 703 Python 👤 stepfun-ai Organization 🕐 已更新 2026-04-29 📅 创建时间 2025-11-11
108
ChenxinAn-fdu/POLARIS

在高级推理模型上扩展强化学习

ChenxinAn-fdu
⭐ 697 Python 👤 ChenxinAn-fdu User 🕐 已更新 2025-10-20 📅 创建时间 2025-06-18
109
IEIT-Yuan/Yuan-2.0

Yuan 2.0 大语言模型

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 已更新 2024-07-11 📅 创建时间 2023-11-26
110
mlabonne/llm-autoeval

在 Google Colab 中自动评估您的 LLM

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 已更新 2024-05-07 📅 创建时间 2024-01-01
111
owenliang/qwen-vllm

通义千问VLLM推理部署DEMO

owenliang
⭐ 637 Python 👤 owenliang User 🕐 已更新 2024-03-28 📅 创建时间 2024-01-21
112
firstbatchxyz/mem-agent-mcp

mem-agent mcp 服务器

firstbatchxyz
⭐ 628 Python 👤 firstbatchxyz Organization 🕐 已更新 2025-11-17 📅 创建时间 2025-09-01
113
mlfoundations/evalchemy

LLM的自动评估

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 已更新 2026-11-12 📅 创建时间 2024-11-15
114
jaylfc/taOS

自托管 AI 智能体操作系统。您的记忆、聊天记录、智能体和文件都存储在您拥有的硬件上,默认离线,云端可选。具备离线 AI 记忆 (taOSmd)、自托管多框架群聊、完整的 Web 桌面 + 应用商店,以及跨您现有消费级硬件(Orange/Raspberry Pi、Mac mini、游戏 PC)的自动集群功能。

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 已更新 2026-11-20 📅 创建时间 2026-04-05
115
HuiResearch/FlashTTS

基于SparkTTS、OrpheusTTS等模型,提供高质量中文语音合成与声音克隆服务。

HuiResearch
⭐ 603 Python 👤 HuiResearch User 🕐 已更新 2025-05-18 📅 创建时间 2025-03-13
116
MoonshotAI/K2-Vendor-Verifier

验证所有 Kimi K2 API 供应商的精确度

MoonshotAI
⭐ 602 Python 👤 MoonshotAI Organization 🕐 已更新 2026-02-14 📅 创建时间 2025-09-09
117
llmmanorg/llmman

在任意模型上运行任意智能体,模型以 OCI 镜像形式存储

llmmanorg
⭐ 598 Rust 👤 llmmanorg Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-03-22
119
kacper-daftcode/vLLM-Moet

RTX PRO 6000 / RTX 5090 (sm_120) 上的前沿 MoE 模型:在 4 张 RTX PRO 6000 上运行 DeepSeek-V4.1-Flash、在 4 张 RTX 5090 上采用 GPU+CPU 混合方案,以及在 vLLM v0.24.0 上运行 2 位专家模型

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 已更新 2026-11-18 📅 创建时间 2026-06-15
120
raids-lab/crater

Crater 是一个云原生 AI 训练与推理平台。

raids-lab
⭐ 578 Go 👤 raids-lab Organization 🕐 已更新 2026-11-20 📅 创建时间 2025-06-08
⭐ 568 Python 👤 pipecat-ai Organization 🕐 已更新 2026-06-03 📅 创建时间 2026-01-01
122
fufankeji/DeepSeek-OCR-Web

开箱即用的DeepSeek OCR文档解析Web Studio

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 已更新 2025-10-27 📅 创建时间 2025-10-23
123
spark-arena/sparkrun

sparkrun——在 NVIDIA DGX Spark 系统上启动、管理和停止 LLM 推理工作负载。在线支持:https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 已更新 2026-11-17 📅 创建时间 2026-02-16
124
FlagOpen/RoboBrain

[CVPR 2025] RoboBrain:从抽象到具体的机器人操作统一大脑模型。官方仓库。

FlagOpen
⭐ 564 Python 👤 FlagOpen Organization 🕐 已更新 2025-10-13 📅 创建时间 2025-03-27
125
llumnix-project/llumnix-ray

高效易用的多实例大模型服务

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 已更新 2026-03-12 📅 创建时间 2024-05-20
126
01-ai/Yi-1.5

Yi-1.5是Yi的升级版本,在编码、数学、推理和指令遵循能力方面提供了更强的性能。

01-ai
⭐ 557 👤 01-ai Organization 🕐 已更新 2024-11-11 📅 创建时间 2024-05-10
128
micytao/vllm-playground

一个用于管理和交互 vLLM 服务器 (www.github.com/vllm-project/vllm) 的现代 Web 界面。支持 GPU 和 CPU 模式,并针对 macOS Apple Silicon 以及 OpenShift/Kubernetes 企业级部署进行了特别优化。

micytao
⭐ 548 JavaScript 👤 micytao User 🕐 已更新 2026-11-07 📅 创建时间 2025-11-01
129
Yzw202011/OmniSpace

本地优先的全栈 AI 创作工作站:AI 对话、AI 漫画、漫剧创作、写作台、知识学习五大模块;支持 vLLM / llama.cpp / Transformers 多引擎本地推理、显存智能调度、舱壁隔离与自愈。仅供学习使用,欢迎交流指正。(除插件系统外,最新进度受协议限制,暂时无法提交到仓库。)

Yzw202011
⭐ 536 Python 👤 Yzw202011 User 🕐 已更新 2026-09-20 📅 创建时间 2026-08-23
130
ome-projects/ome

Open Model Engine (OME) —— 用于大语言模型服务部署、GPU 调度和模型生命周期管理的 Kubernetes Operator。支持 SGLang、vLLM、TensorRT-LLM 和 Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-05-19
131
huawei-csl/KVarN

KVarN 是专为您的智能体打造的原生 vLLM KV 缓存量化后端:上下文容量提升 3–5 倍,吞吐量超越 FP16,精度达到 FP16 级别。无需校准,只需一个参数。

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 已更新 2026-06-22 📅 创建时间 2026-05-29
132
adventists-ai/sophon-realtime

开放式全双工语音模型,能够听懂你的语气并以相应语气回应。借助 vLLM-Omni,仅需一块 GPU;或使用 MLX 在 Mac 上完全离线运行。零样本声音克隆,兼容 OpenAI Realtime / GPT-Live,并提供免费的托管 API 试用。Apache-2.0。

adventists-ai
⭐ 510 Python 👤 adventists-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-11-04
133
Chen-zexi/vllm-cli

一个使用 vLLM 提供 LLM 服务的命令行界面工具。

Chen-zexi
⭐ 507 Python 👤 Chen-zexi User 🕐 已更新 2026-01-25 📅 创建时间 2025-08-14
134
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

完全不受审查、增强能力的 Qwen3.6-27B 消融版。基于统一的 ghcr.io/aeon-7/aeon-vllm-ultimate:latest 容器,采用 NVFP4 + z-lab DFlash 推测解码(n=12),针对 DGX Spark 上的长上下文草稿接受率进行了调优。提供 6 个 HF 变体(BF16/NVFP4/MTP/MTP-XS)、docker-compose 和快速入门指南。

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 已更新 2026-11-13 📅 创建时间 2026-04-25