Git Stars Git Stars

#vllm 仓库

133
仓库总数
554,542
总星标数
4,169
平均每个仓库星标数

共 134 个仓库

51
allenai/Olmo-core

OLMo生态系统的PyTorch构建模块

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-03-23
52
vllm-project/guidellm

评估和增强您的 LLM 部署以满足实际推理需求

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-05-29
53
StartLuxLabs/StartLux-Decision

参数规模从 0.8B 到 27B 的开放式决策模型:一次推理即可为每个选项给出经过校准的概率,仅在不确定时提供简短思考。适用于 vLLM、llama.cpp 和 MLX 的引擎。

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 已更新 2026-10-23 📅 创建时间 2026-09-29
54
intel/auto-round

训练后量化的效率,量化感知训练的精度

intel
⭐ 1,706 Python 👤 intel Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-01-04
56
waybarrios/vllm-mlx

适用于 Apple Silicon 的高性能 OpenAI 和 Anthropic 兼容 LLM 推理服务器。原生 MLX、连续批处理、多模态模型、MCP 工具调用和 Claude Code 支持。

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 已更新 2026-11-07 📅 创建时间 2025-12-06
57
nokia-applied-research/AnyJev

将任何 LLM 转变为 Jev 风格的决策模型:类型化决策、真实概率、无需训练。(持续更新,欢迎提交任何问题和 PR 请求)

nokia-applied-research
⭐ 1,632 Python 👤 nokia-applied-research Organization 🕐 已更新 2026-10-21 📅 创建时间 2026-09-21
58
autonomous-ai/Personal-AI-Computer

开源 AI 计算机搭建方案,涵盖双 GPU 台式机到 8 GPU 服务器:提供 CAD 图纸、物料清单、BIOS 设置和装机指南。选购附带 PCIe 延长线的机箱套件,或联系我们免费检查兼容性。

autonomous-ai
⭐ 1,601 👤 autonomous-ai Organization 🕐 已更新 2026-11-05 📅 创建时间 2025-08-22
⭐ 1,599 Python 👤 databricks Organization 🕐 已更新 2026-03-25 📅 创建时间 2023-01-26
61
tencent-ailab/persona-hub

论文“用10亿个虚拟人物扩展合成数据创建”的官方仓库

tencent-ailab
⭐ 1,585 Python 👤 tencent-ailab User 🕐 已更新 2025-02-19 📅 创建时间 2024-06-22
62
verl-project/verl-omni

用于扩散模型和全模态模型的多模态强化学习训练框架

verl-project
⭐ 1,560 Python 👤 verl-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-04-21
64
BICLab/SpikingBrain-7B

受脉冲神经元启发的巨型模型,将混合高效注意力、MoE 模块和脉冲编码集成到其架构中

BICLab
⭐ 1,432 Python 👤 BICLab User 🕐 已更新 2026-05-14 📅 创建时间 2025-09-03
65
MoonshotAI/Kimi-Dev

用于软件工程任务的开源编码大语言模型

MoonshotAI
⭐ 1,357 Python 👤 MoonshotAI Organization 🕐 已更新 2025-09-30 📅 创建时间 2025-06-16
66
ModelCloud/GPTQModel

LLM 模型量化(压缩)工具包,通过 HF、vLLM 和 SGLang 支持 Nvidia CUDA、AMD ROCm、Intel XPU、Tenstorrent、华为昇腾 NPU,以及 Intel/AMD/Apple CPU 的硬件加速。

ModelCloud
⭐ 1,294 Python 👤 ModelCloud Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-06-17
67
kubeai-project/kubeai

Kubernetes 的 AI 推理运算符。在生产环境中部署 ML 模型的简便方法。支持 VLM、LLM、embedding 和 speech-to-text。

kubeai-project
⭐ 1,294 Go 👤 kubeai-project Organization 🕐 已更新 2026-11-16 📅 创建时间 2023-10-21
⭐ 1,293 Python 👤 Visual-Agent Organization 🕐 已更新 2025-11-20 📅 创建时间 2025-03-15
69
OpenBuddy/OpenBuddy

面向所有人的开放式多语言聊天机器人

OpenBuddy
⭐ 1,274 👤 OpenBuddy Organization 🕐 已更新 2025-06-08 📅 创建时间 2023-04-26
70
patchy631/time-to-first-token

一份为期 10 周、每天 30 分钟的 LLM 推理服务与优化路线图。vLLM、SGLang、量化、推测解码、基准测试。

patchy631
⭐ 1,245 HTML 👤 patchy631 User 🕐 已更新 2026-08-14 📅 创建时间 2026-08-02
71
Ksuriuri/index-tts-vllm

为 IndexTTS 添加了 vLLM 支持,以加快推理速度。

Ksuriuri
⭐ 1,244 Python 👤 Ksuriuri User 🕐 已更新 2026-04-13 📅 创建时间 2025-05-03
72
eagle-hq/EAGLE-4

EAGLE-4 官方推理代码

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 已更新 2026-11-13 📅 创建时间 2026-10-20
73
bricks-cloud/BricksLLM

☁️ 企业级 API 网关,帮助您监控和强制执行每个 API 密钥的成本或速率限制。为每个用户、应用程序或环境提供细粒度的访问控制和监控。支持 OpenAI、Azure OpenAI、Anthropic、vLLM 和开源 LLM。

bricks-cloud
⭐ 1,210 Go 👤 bricks-cloud Organization 🕐 已更新 2025-01-05 📅 创建时间 2023-07-18
74
jmaczan/tiny-vllm

用C++和CUDA构建你自己的高性能LLM推理引擎——vLLM的缩小版

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 已更新 2026-11-15 📅 创建时间 2026-02-09
75
MoonshotAI/Kimi-VL

Kimi-VL:用于多模态推理、长上下文理解和强大智能体功能的专家混合视觉语言模型

MoonshotAI
⭐ 1,203 👤 MoonshotAI Organization 🕐 已更新 2025-07-15 📅 创建时间 2025-04-09
76
BytedTsinghua-SIA/MemAgent

一个可扩展到350万的MemAgent框架,以及用于任何代理工作流RL训练的训练框架。

BytedTsinghua-SIA
⭐ 1,118 Python 👤 BytedTsinghua-SIA Organization 🕐 已更新 2026-05-12 📅 创建时间 2025-06-24
⭐ 1,090 Python 👤 thinking-machines-lab Organization 🕐 已更新 2025-11-04 📅 创建时间 2025-09-10
78
prometheus-eval/prometheus-eval

使用 Prometheus 和 GPT4 评估您的 LLM 回复 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 已更新 2025-04-25 📅 创建时间 2024-04-18
79
GAIR-NLP/LIMO

[COLM 2025] LIMO: 少即是多,用于推理

GAIR-NLP
⭐ 1,081 Python 👤 GAIR-NLP Organization 🕐 已更新 2025-07-30 📅 创建时间 2025-02-04
80
Pokee-AI/PokeeResearchOSS

Pokee深度研究模型开源仓库

Pokee-AI
⭐ 1,075 Python 👤 Pokee-AI Organization 🕐 已更新 2025-10-22 📅 创建时间 2025-10-17
81
Tencent-Hunyuan/UniRL

UniRL 是一个用于统一多模态模型强化学习的框架

Tencent-Hunyuan
⭐ 1,051 Python 👤 Tencent-Hunyuan Organization 🕐 已更新 2026-11-16 📅 创建时间 2026-06-08
83
ZJUI-AI4H/Hulu-Med

迈向全面医疗视觉-语言理解的透明通用模型

ZJUI-AI4H
⭐ 1,031 Python 👤 ZJUI-AI4H User 🕐 已更新 2026-08-30 📅 创建时间 2025-10-08
84
convergence-ai/proxy-lite

我们的 Proxy 助手的迷你、开放权重版本。

convergence-ai
⭐ 989 Python 👤 convergence-ai Organization 🕐 已更新 2025-02-26 📅 创建时间 2025-02-10
86
alvarobartt/hf-mem

一个用于估算 Hugging Face 模型推理内存需求的命令行工具,使用 Python 编写。

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 已更新 2026-11-20 📅 创建时间 2025-12-22
87
Valen-Team/Valen

开放式多模态决策模型,参数规模从 0.8B 到 27B,支持文本、图像和视频。对自选候选项进行概率判断,并用边界框定位,而非生成文本。提供免费 API、ONNX、GGUF、vLLM 和 SGLang;附带微调代码。

Valen-Team
⭐ 932 Python 👤 Valen-Team Organization 🕐 已更新 2026-11-15 📅 创建时间 2026-09-23
88
XHToken/Spark-X2.6

Spark-x2.6 开放模型系列:突破端侧模型智能体能力的极限

XHToken
⭐ 927 👤 XHToken Organization 🕐 已更新 2026-11-04 📅 创建时间 2026-08-24
89
harleyszhang/llm_note

LLM笔记,包括模型推理、Transformer模型结构和LLM框架代码分析笔记。

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 已更新 2026-08-19 📅 创建时间 2024-09-18
90
th1nhhdk/local_ai_ocr

一款本地、离线(初始设置后)、便携式的OCR软件,能够处理图像和PDF文件,使用DeepSeek-OCR-2 AI(直接在您的机器上运行)。

th1nhhdk
⭐ 892 Python 👤 th1nhhdk User 🕐 已更新 2026-07-05 📅 创建时间 2025-11-21
91
triton-inference-server/tutorials

此存储库包含 Triton Inference Server 的教程和示例

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 已更新 2026-11-17 📅 创建时间 2022-12-16
92
whitecircle/halo

Halo 是由 White Circle 构建的用于训练大型语言模型和多模态模型的开源框架

whitecircle
⭐ 868 Python 👤 whitecircle Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-08-26
93
varunvasudeva1/llm-server-docs

用于在 Debian 上设置您自己的本地且完全私有的 LLM 服务器的端到端文档。配备聊天、网络搜索、RAG、模型管理、MCP 服务器、图像生成和 TTS。

varunvasudeva1
⭐ 853 👤 varunvasudeva1 User 🕐 已更新 2026-06-30 📅 创建时间 2024-03-26
94
pgalko/BambooAI

这是一款由 AI 驱动的数据分析工作台,专为透明性、可复现性和用户控制而打造。检查结果背后的代码和证据,通过回放验证计算过程,并从丰富的模型中进行选择,包括本地开放权重模型。

pgalko
⭐ 848 Python 👤 pgalko User 🕐 已更新 2026-11-20 📅 创建时间 2023-05-07
95
TideDra/lmm-r1

将OpenRLHF扩展到支持LMM RL训练,以在多模态任务上复现DeepSeek-R1。

TideDra
⭐ 843 Python 👤 TideDra User 🕐 已更新 2025-05-14 📅 创建时间 2025-02-13
96
jakobdylanc/llmcord

让 Discord 成为你的大型语言模型前端

jakobdylanc
⭐ 843 Python 👤 jakobdylanc User 🕐 已更新 2026-08-14 📅 创建时间 2023-05-08
97
OpenBMB/AgentCPM

用于训练和评估各种大型语言模型代理的端到端基础设施.

OpenBMB
⭐ 835 Python 👤 OpenBMB Organization 🕐 已更新 2026-10-22 📅 创建时间 2026-01-08
98
Tencent-Hunyuan/Hunyuan-A13B

Hunyuan-A13B”,一个建立在细粒度MoE架构上的创新型开源大模型。

Tencent-Hunyuan
⭐ 815 Python 👤 Tencent-Hunyuan Organization 🕐 已更新 2025-07-08 📅 创建时间 2025-06-27
99
ARahim3/kaggle-tpu-lab

在免费的 Kaggle TPU v5e-8 上运行前沿级开源模型:GLM-5.3-Flash 320B MoE(约 165 token/秒,采用我们自研的 JAX 引擎)和 Qwen3.8-27B bf16(约 130 token/秒),支持 262K 上下文和前缀缓存。可与 Claude Code、Codex、opencode 和 pi 配合使用。

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 已更新 2026-10-06 📅 创建时间 2026-08-31
100
ByteDance-Seed/Seed-Coder

Seed-Coder 是一个轻量级开源代码大语言模型家族,包含基础模型、指令模型和推理模型,由字节跳动 Seed 开发。

ByteDance-Seed
⭐ 755 👤 ByteDance-Seed Organization 🕐 已更新 2025-06-06 📅 创建时间 2025-04-21