#tensorrt-llm Repositorios
Descubre 24 repositorios activos de código abierto de GitHub etiquetados con #tensorrt-llm, que acumulan 65,708 estrellas en total (una media de 2,737 estrellas por proyecto). El líder de este tema es SWivid/F5-TTS, con 15,634 estrellas.
24 repositorios en total
Código oficial para "F5-TTS: un narrador de cuentos que falsifica el habla fluida y fiel con Flow Matching"
Una biblioteca unificada de técnicas de optimización de modelos SOTA como cuantización, destilación, poda, búsqueda de arquitectura neuronal, decodificación especulativa, etc. Comprime modelos de aprendizaje profundo para marcos de despliegue posteriores como TensorRT-LLM, TensorRT, vLLM, etc., para optimizar la velocidad de inferencia.
📚Una lista seleccionada de increíbles artículos sobre inferencia LLM/VLM con códigos: Flash-Attention, Paged-Attention, WINT8/4, Paralelismo, etc.🎉
[MLSys 2024 Best Paper Award] AWQ: Cuantización de pesos sensible a la activación para la compresión y aceleración de LLM
Un proyecto de referencia para desarrolladores para crear chatbots de Generación Aumentada por Recuperación (RAG) en Windows utilizando TensorRT-LLM
Código, laboratorios y recursos para O'Reilly AI Systems Performance Engineering: optimización de GPU, entrenamiento distribuido, escalado de inferencia y ajuste de pila completa.
Este repositorio contiene el código fuente de RULER: ¿Cuál es el tamaño real del contexto de sus modelos de lenguaje de contexto largo?
[ICML 2023] SmoothQuant: Cuantización post-entrenamiento precisa y eficiente para modelos de lenguaje grandes
Este repositorio contiene tutoriales y ejemplos para Triton Inference Server
Tencent Hunyuan A13B (en adelante Hunyuan-A13B), un LLM innovador y de código abierto construido sobre una arquitectura MoE de grano fino.
Una canalización optimizada de voz a texto para el modelo Whisper compatible con múltiples motores de inferencia
🚀🚀🚀 Este repositorio enumera algunos proyectos públicos increíbles de CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX y Computación de Alto Rendimiento (HPC).
Preguntas frecuentes
¿Cuál es el repositorio de #tensorrt-llm más popular en GitHub?
El proyecto de código abierto de #tensorrt-llm mejor posicionado en GitHub es SWivid/F5-TTS, con 15,634 estrellas. Código oficial para "F5-TTS: un narrador de cuentos que falsifica el habla fluida y fiel con Flow Matching"
¿Qué lenguajes de programación se utilizan más en los repositorios de #tensorrt-llm?
Entre los proyectos de #tensorrt-llm mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, Rust, C++.
¿Cómo se calcula la clasificación de los repositorios de #tensorrt-llm?
Seguimos 24 repositorios activos de código abierto etiquetados con #tensorrt-llm (500+ estrellas), que suman un total de 65,708 estrellas, con una media de 2,737 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.