#tensorrt-llm Dépôts
Découvrez 24 dépôts GitHub open source actifs associés à #tensorrt-llm, cumulant 65,708 étoiles au total (soit une moyenne de 2,737 étoiles par projet). Le projet en tête de ce thème est SWivid/F5-TTS, avec 15,634 étoiles.
24 dépôts au total
Code officiel pour "F5-TTS : un conteur qui simule un discours fluide et fidèle avec Flow Matching"
Une bibliothèque unifiée de techniques d'optimisation de modèles SOTA telles que la quantification, la distillation, l'élagage, la recherche d'architecture neuronale, le décodage spéculatif, etc. Elle compresse les modèles d'apprentissage profond pour les frameworks de déploiement en aval tels que TensorRT-LLM, TensorRT, vLLM, etc., afin d'optimiser la vitesse d'inférence.
📚Une liste organisée d'articles impressionnants sur l'inférence LLM/VLM avec codes : Flash-Attention, Paged-Attention, WINT8/4, Parallélisme, etc.🎉
[MLSys 2024 Best Paper Award] AWQ : Quantification des poids sensible à l'activation pour la compression et l'accélération des LLM
Un projet de référence pour développeurs pour la création de chatbots Retrieval Augmented Generation (RAG) sur Windows à l'aide de TensorRT-LLM
Code, laboratoires et ressources pour O'Reilly AI Systems Performance Engineering : optimisation GPU, entraînement distribué, mise à l'échelle de l'inférence et réglage full-stack.
Ce dépôt contient le code source de RULER : Quelle est la taille réelle du contexte de vos modèles de langage à long contexte ?
[ICML 2023] SmoothQuant : Quantification post-entraînement précise et efficace pour les grands modèles linguistiques
Ce dépôt contient des tutoriels et des exemples pour Triton Inference Server
Tencent Hunyuan A13B (abrégé Hunyuan-A13B), un LLM innovant et open-source construit sur une architecture MoE à grain fin.
Un pipeline optimisé de synthèse vocale vers texte pour le modèle Whisper prenant en charge plusieurs moteurs d'inférence
🚀🚀🚀 Ce dépôt répertorie quelques projets publics impressionnants liés à CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX et au calcul haute performance (HPC).
Foire aux questions
Quel est le dépôt #tensorrt-llm le plus populaire sur GitHub ?
Le projet #tensorrt-llm open source le mieux classé sur GitHub est SWivid/F5-TTS, avec 15,634 étoiles. Code officiel pour "F5-TTS : un conteur qui simule un discours fluide et fidèle avec Flow Matching"
Quels langages de programmation sont les plus utilisés dans les dépôts #tensorrt-llm ?
Parmi les projets #tensorrt-llm les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, Rust, C++.
Comment le classement des dépôts #tensorrt-llm est-il calculé ?
Nous suivons 24 dépôts open source actifs associés à #tensorrt-llm (500+ étoiles), totalisant 65,708 étoiles, avec une moyenne de 2,737 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.