#tensorrt-llm Репозитории
Откройте для себя 24 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #tensorrt-llm, с общим числом 65,708 звёзд (в среднем 2,737 на проект). Лидером этой темы является SWivid/F5-TTS, набравший 15,634 звёзд.
Всего репозиториев: 24
Официальный код для «F5-TTS: Сказочник, который имитирует беглую и точную речь с помощью Flow Matching»
Единая библиотека методов оптимизации моделей SOTA, таких как квантование, дистилляция, прунинг, поиск нейронных архитектур, спекулятивное декодирование и т. д. Она сжимает модели глубокого обучения для последующих фреймворков развертывания, таких как TensorRT-LLM, TensorRT, vLLM и других, для оптимизации скорости вывода.
📚Подборка отличных статей об инференсе LLM/VLM с кодами: Flash-Attention, Paged-Attention, WINT8/4, Parallelism и т.д.🎉
[MLSys 2024 Best Paper Award] AWQ: Активное квантование весов, осознанное активацией, для сжатия и ускорения LLM
Справочный проект для разработчиков по созданию чат-ботов с использованием генерации с дополнением извлекаемых данных (RAG) в Windows с помощью TensorRT-LLM
Код, лабораторные работы и ресурсы для O'Reilly AI Systems Performance Engineering: оптимизация GPU, распределенное обучение, масштабирование вывода и полностековая настройка.
Этот репозиторий содержит исходный код для RULER: Каков реальный размер контекста ваших языковых моделей с длинным контекстом?
[ICML 2023] SmoothQuant: Точная и эффективная послетренировочная квантизация для больших языковых моделей
Этот репозиторий содержит учебные пособия и примеры для Triton Inference Server
Tencent Hunyuan A13B (сокращенно Hunyuan-A13B) — инновационная и открытая LLM, построенная на основе детальной архитектуры MoE.
Оптимизированный конвейер преобразования речи в текст для модели Whisper с поддержкой нескольких движков вывода
🚀🚀🚀 В этом репозитории представлен список отличных публичных проектов, связанных с CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX и высокопроизводительными вычислениями (HPC).
Часто задаваемые вопросы
Какой репозиторий по теме #tensorrt-llm наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #tensorrt-llm на GitHub — SWivid/F5-TTS, набравший 15,634 звёзд. Официальный код для «F5-TTS: Сказочник, который имитирует беглую и точную речь с помощью Flow Matching»
Какие языки программирования чаще всего используются в репозиториях по теме #tensorrt-llm?
Среди наиболее высоко оценённых проектов по теме #tensorrt-llm на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Rust, C++.
Как рассчитывается рейтинг репозиториев по теме #tensorrt-llm?
Мы отслеживаем 24 активных репозиториев с открытым исходным кодом, отмеченных тегом #tensorrt-llm (500 и более звёзд), с общим числом 65,708 звёзд и в среднем 2,737 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.