#tensorrt-llm Repositories
Entdecke 24 aktive Open-Source-GitHub-Repositories, die mit #tensorrt-llm getaggt sind und insgesamt 65,708 Sterne gesammelt haben (durchschnittlich 2,737 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist SWivid/F5-TTS mit 15,634 Sternen.
Insgesamt 24 Repositories
Offizieller Code für „F5-TTS: Ein Märchenerzähler, der flüssige und getreue Sprache mit Flow Matching fälscht“
Eine einheitliche Bibliothek für SOTA-Modelloptimierungstechniken wie Quantisierung, Destillation, Pruning, neuronale Architektursuche, spekulative Dekodierung usw. Sie komprimiert Deep-Learning-Modelle für nachgelagerte Bereitstellungs-Frameworks wie TensorRT-LLM, TensorRT, vLLM usw., um die Inferenzgeschwindigkeit zu optimieren.
📚Eine kuratierte Liste von Awesome LLM/VLM-Inferenz-Papers mit Codes: Flash-Attention, Paged-Attention, WINT8/4, Parallelism usw.🎉
[MLSys 2024 Best Paper Award] AWQ: Aktivierungsabhängige Gewichtungsquantisierung für LLM-Kompression und -Beschleunigung
Ein Entwicklerreferenzprojekt zum Erstellen von Retrieval Augmented Generation (RAG)-Chatbots unter Windows mit TensorRT-LLM
Code, Labs und Ressourcen für O'Reilly AI Systems Performance Engineering: GPU-Optimierung, verteiltes Training, Inferenz-Skalierung und Full-Stack-Tuning.
Dieses Repository enthält den Quellcode für RULER: Was ist die tatsächliche Kontextgröße Ihrer Langkontext-Sprachmodelle?
[ICML 2023] SmoothQuant: Genauer und effizienter Post-Training-Quantisierung für große Sprachmodelle
Dieses Repository enthält Tutorials und Beispiele für den Triton Inference Server
Tencent Hunyuan A13B (kurz als Hunyuan-A13B), ein innovatives und quelloffenes LLM, das auf einer feingranularen MoE-Architektur basiert.
Eine optimierte Speech-to-Text-Pipeline für das Whisper-Modell mit Unterstützung mehrerer Inferenz-Engines
🚀🚀🚀 Dieses Repository listet einige großartige öffentliche Projekte zu CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX und High Performance Computing (HPC) auf.
Häufig gestellte Fragen
Welches ist das beliebteste #tensorrt-llm-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#tensorrt-llm-Projekt auf GitHub ist SWivid/F5-TTS mit 15,634 Sternen. Offizieller Code für „F5-TTS: Ein Märchenerzähler, der flüssige und getreue Sprache mit Flow Matching fälscht“
Welche Programmiersprachen werden in #tensorrt-llm-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #tensorrt-llm-Projekten auf GitHub sind Python, Jupyter Notebook, Rust, C++ die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #tensorrt-llm-Repositories berechnet?
Wir verfolgen 24 aktive Open-Source-Repositories, die mit #tensorrt-llm getaggt sind (500+ Sterne), mit insgesamt 65,708 Sternen und durchschnittlich 2,737 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.