Git Stars Git Stars

#tensorrt-llm Repositories

Entdecke 24 aktive Open-Source-GitHub-Repositories, die mit #tensorrt-llm getaggt sind und insgesamt 65,708 Sterne gesammelt haben (durchschnittlich 2,737 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist SWivid/F5-TTS mit 15,634 Sternen.

24
Gesamtzahl der Repositories
65,708
Gesamtanzahl der Sterne
2,737
Durchschnittliche Sterne/Repo

Insgesamt 24 Repositories

1
SWivid/F5-TTS

Offizieller Code für „F5-TTS: Ein Märchenerzähler, der flüssige und getreue Sprache mit Flow Matching fälscht“

SWivid
⭐ 15,634 Python 👤 SWivid User 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2024-10-08
2
ai-dynamo/dynamo

Ein Framework für verteiltes Inferenz-Serving im Rechenzentrum-Maßstab

ai-dynamo
⭐ 8,542 Rust 👤 ai-dynamo Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-03-03
3
NVIDIA/Model-Optimizer

Eine einheitliche Bibliothek für SOTA-Modelloptimierungstechniken wie Quantisierung, Destillation, Pruning, neuronale Architektursuche, spekulative Dekodierung usw. Sie komprimiert Deep-Learning-Modelle für nachgelagerte Bereitstellungs-Frameworks wie TensorRT-LLM, TensorRT, vLLM usw., um die Inferenzgeschwindigkeit zu optimieren.

NVIDIA
⭐ 5,646 Python 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-04-23
4
xlite-dev/Awesome-LLM-Inference

📚Eine kuratierte Liste von Awesome LLM/VLM-Inferenz-Papers mit Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism usw.🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2023-08-27
5
collabora/WhisperLive

Eine nahezu Live-Implementierung von OpenAI's Whisper.

collabora
⭐ 4,363 Python 👤 collabora Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-05-04
6
mit-han-lab/llm-awq

[MLSys 2024 Best Paper Award] AWQ: Aktivierungsabhängige Gewichtungsquantisierung für LLM-Kompression und -Beschleunigung

mit-han-lab
⭐ 3,590 Python 👤 mit-han-lab Organization 🕐 Aktualisiert 2025-07-17 📅 Erstellt 2023-06-01
7
NVIDIA/ChatRTX

Ein Entwicklerreferenzprojekt zum Erstellen von Retrieval Augmented Generation (RAG)-Chatbots unter Windows mit TensorRT-LLM

NVIDIA
⭐ 3,101 Python 👤 NVIDIA Organization 🕐 Aktualisiert 2026-01-21 📅 Erstellt 2023-10-18
8
cfregly/ai-performance-engineering

Code, Labs und Ressourcen für O'Reilly AI Systems Performance Engineering: GPU-Optimierung, verteiltes Training, Inferenz-Skalierung und Full-Stack-Tuning.

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-04-21
9
SemiAnalysisAI/InferenceX

Open-Source-Forschungsplattform für Inferenz

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-07-12
10
brevdev/launchables

Sammlung von Notebook-Anleitungen, erstellt vom Brev.dev-Team!

brevdev
⭐ 1,819 Jupyter Notebook 👤 brevdev Organization 🕐 Aktualisiert 2026-07-21 📅 Erstellt 2023-08-14
11
NVIDIA/RULER

Dieses Repository enthält den Quellcode für RULER: Was ist die tatsächliche Kontextgröße Ihrer Langkontext-Sprachmodelle?

NVIDIA
⭐ 1,641 Python 👤 NVIDIA Organization 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2024-04-09
13
mit-han-lab/smoothquant

[ICML 2023] SmoothQuant: Genauer und effizienter Post-Training-Quantisierung für große Sprachmodelle

mit-han-lab
⭐ 1,576 Python 👤 mit-han-lab Organization 🕐 Aktualisiert 2024-07-12 📅 Erstellt 2022-11-17
14
NVIDIA-NeMo/Skills

Ein Projekt zur Verbesserung der Fähigkeiten von großen Sprachmodellen

NVIDIA-NeMo
⭐ 1,065 Python 👤 NVIDIA-NeMo Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-02-11
⭐ 1,041 Python 👤 huggingface Organization 🕐 Aktualisiert 2026-09-24 📅 Erstellt 2023-10-06
16
triton-inference-server/tensorrtllm_backend

Das Triton TensorRT-LLM Backend

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2023-09-12
17
triton-inference-server/tutorials

Dieses Repository enthält Tutorials und Beispiele für den Triton Inference Server

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2022-12-16
18
Tencent-Hunyuan/Hunyuan-A13B

Tencent Hunyuan A13B (kurz als Hunyuan-A13B), ein innovatives und quelloffenes LLM, das auf einer feingranularen MoE-Architektur basiert.

Tencent-Hunyuan
⭐ 815 Python 👤 Tencent-Hunyuan Organization 🕐 Aktualisiert 2025-07-08 📅 Erstellt 2025-06-27
20
IEIT-Yuan/Yuan-2.0

Yuan 2.0 Large Language Model

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Aktualisiert 2024-07-11 📅 Erstellt 2023-11-26
23
shashikg/WhisperS2T

Eine optimierte Speech-to-Text-Pipeline für das Whisper-Modell mit Unterstützung mehrerer Inferenz-Engines

shashikg
⭐ 534 Jupyter Notebook 👤 shashikg User 🕐 Aktualisiert 2024-08-27 📅 Erstellt 2023-12-16
24
coderonion/awesome-cuda-and-hpc

🚀🚀🚀 Dieses Repository listet einige großartige öffentliche Projekte zu CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX und High Performance Computing (HPC) auf.

coderonion
⭐ 502 👤 coderonion User 🕐 Aktualisiert 2025-08-02 📅 Erstellt 2023-02-23

Häufig gestellte Fragen

1

Welches ist das beliebteste #tensorrt-llm-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#tensorrt-llm-Projekt auf GitHub ist SWivid/F5-TTS mit 15,634 Sternen. Offizieller Code für „F5-TTS: Ein Märchenerzähler, der flüssige und getreue Sprache mit Flow Matching fälscht“

2

Welche Programmiersprachen werden in #tensorrt-llm-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #tensorrt-llm-Projekten auf GitHub sind Python, Jupyter Notebook, Rust, C++ die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #tensorrt-llm-Repositories berechnet?

Wir verfolgen 24 aktive Open-Source-Repositories, die mit #tensorrt-llm getaggt sind (500+ Sterne), mit insgesamt 65,708 Sternen und durchschnittlich 2,737 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.