Git Stars Git Stars

#tensorrt-llm 仓库

探索 24 个标记为 #tensorrt-llm 的活跃开源 GitHub 仓库,它们累计获得 65,708 个 Star(平均每个项目 2,737 个)。该主题的领先项目是 SWivid/F5-TTS,拥有 15,634 个 Star。

24
仓库总数
65,708
总星标数
2,737
平均每个仓库星标数
1
SWivid/F5-TTS

“F5-TTS:一个通过流匹配伪造流利且忠实语音的童话叙述者”的官方代码

SWivid
⭐ 15,634 Python 👤 SWivid User 🕐 已更新 2026-11-03 📅 创建时间 2024-10-08
2
ai-dynamo/dynamo

一个数据中心规模的分布式推理服务框架

ai-dynamo
⭐ 8,542 Rust 👤 ai-dynamo Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-03-03
3
NVIDIA/Model-Optimizer

一个统一的 SOTA 模型优化技术库,包含量化、蒸馏、剪枝、神经架构搜索、推测解码等技术。它为 TensorRT-LLM、TensorRT、vLLM 等下游部署框架压缩深度学习模型,以优化推理速度。

NVIDIA
⭐ 5,646 Python 👤 NVIDIA Organization 🕐 已更新 2026-11-21 📅 创建时间 2024-04-23
4
xlite-dev/Awesome-LLM-Inference

📚精选的超棒 LLM/VLM 推理论文及代码列表:Flash-Attention、Paged-Attention、WINT8/4、并行化等。🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 已更新 2026-10-20 📅 创建时间 2023-08-27
5
collabora/WhisperLive

OpenAI Whisper 的近乎实时实现。

collabora
⭐ 4,363 Python 👤 collabora Organization 🕐 已更新 2026-11-20 📅 创建时间 2023-05-04
6
mit-han-lab/llm-awq

[MLSys 2024 Best Paper Award] AWQ: LLM压缩和加速的激活感知权重量化

mit-han-lab
⭐ 3,590 Python 👤 mit-han-lab Organization 🕐 已更新 2025-07-17 📅 创建时间 2023-06-01
7
NVIDIA/ChatRTX

使用 TensorRT-LLM 在 Windows 上创建检索增强生成 (RAG) 聊天机器人的开发者参考项目

NVIDIA
⭐ 3,101 Python 👤 NVIDIA Organization 🕐 已更新 2026-01-21 📅 创建时间 2023-10-18
8
cfregly/ai-performance-engineering

O'Reilly AI 系统性能工程的代码、实验和资源:GPU 优化、分布式训练、推理扩展和全栈调优。

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 已更新 2026-11-19 📅 创建时间 2025-04-21
9
SemiAnalysisAI/InferenceX

开源推理研究平台

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-07-12
10
brevdev/launchables

Brev.dev 团队创建的笔记本指南合集!

brevdev
⭐ 1,819 Jupyter Notebook 👤 brevdev Organization 🕐 已更新 2026-07-21 📅 创建时间 2023-08-14
11
NVIDIA/RULER

本仓库包含 RULER 的源代码:您的长上下文语言模型的真实上下文大小是多少?

NVIDIA
⭐ 1,641 Python 👤 NVIDIA Organization 🕐 已更新 2026-11-03 📅 创建时间 2024-04-09
13
mit-han-lab/smoothquant

[ICML 2023] SmoothQuant: 适用于大型语言模型的精确高效的训练后量化

mit-han-lab
⭐ 1,576 Python 👤 mit-han-lab Organization 🕐 已更新 2024-07-12 📅 创建时间 2022-11-17
14
NVIDIA-NeMo/Skills

一个提升大型语言模型能力的改进项目

NVIDIA-NeMo
⭐ 1,065 Python 👤 NVIDIA-NeMo Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-02-11
⭐ 1,041 Python 👤 huggingface Organization 🕐 已更新 2026-09-24 📅 创建时间 2023-10-06
⭐ 944 👤 triton-inference-server Organization 🕐 已更新 2026-11-02 📅 创建时间 2023-09-12
17
triton-inference-server/tutorials

此存储库包含 Triton Inference Server 的教程和示例

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 已更新 2026-11-17 📅 创建时间 2022-12-16
18
Tencent-Hunyuan/Hunyuan-A13B

Hunyuan-A13B”,一个建立在细粒度MoE架构上的创新型开源大模型。

Tencent-Hunyuan
⭐ 815 Python 👤 Tencent-Hunyuan Organization 🕐 已更新 2025-07-08 📅 创建时间 2025-06-27
20
IEIT-Yuan/Yuan-2.0

Yuan 2.0 大语言模型

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 已更新 2024-07-11 📅 创建时间 2023-11-26
23
shashikg/WhisperS2T

支持多种推理引擎的 Whisper 模型优化语音到文本管道

shashikg
⭐ 534 Jupyter Notebook 👤 shashikg User 🕐 已更新 2024-08-27 📅 创建时间 2023-12-16
24
coderonion/awesome-cuda-and-hpc

🚀🚀🚀 本仓库列出了一些出色的开源 CUDA、cuda-python、cuBLAS、cuDNN、CUTLASS、TensorRT、TensorRT-LLM、Triton、TVM、MLIR、PTX 以及高性能计算 (HPC) 项目。

coderonion
⭐ 502 👤 coderonion User 🕐 已更新 2025-08-02 📅 创建时间 2023-02-23

常见问题解答

1

GitHub 上最受欢迎的 #tensorrt-llm 仓库是什么?

GitHub 上排名第一的开源 #tensorrt-llm 项目是 SWivid/F5-TTS,拥有 15,634 个 Star。“F5-TTS:一个通过流匹配伪造流利且忠实语音的童话叙述者”的官方代码

2

#tensorrt-llm 仓库中最常使用的编程语言有哪些?

在 GitHub 上排名靠前的 #tensorrt-llm 项目中,最常见的编程语言是 Python, Jupyter Notebook, Rust, C++。

3

#tensorrt-llm 仓库的排名是如何计算的?

我们跟踪了 24 个标记为 #tensorrt-llm 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 65,708 个 Star,平均每个仓库拥有 2,737 个 Star。排名每日根据 GitHub API 更新。