#tensorrt-llm Repositórios
Descubra 24 repositórios ativos de código aberto no GitHub marcados com #tensorrt-llm, acumulando um total de 65,708 estrelas (uma média de 2,737 por projeto). O líder deste tópico é SWivid/F5-TTS, com 15,634 estrelas.
24 repositórios no total
Código oficial para "F5-TTS: Um contador de histórias que simula fala fluente e fiel com Flow Matching"
Uma biblioteca unificada de técnicas de otimização de modelos SOTA, como quantização, destilação, poda (pruning), busca de arquitetura neural, decodificação especulativa, etc. Ela comprime modelos de aprendizado profundo para frameworks de implantação downstream como TensorRT-LLM, TensorRT, vLLM, etc., para otimizar a velocidade de inferência.
📚Uma lista selecionada de artigos incríveis sobre Inferência de LLM/VLM com Códigos: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, etc.🎉
[Prêmio de Melhor Artigo MLSys 2024] AWQ: Quantização de Pesos Ciente de Ativação para Compressão e Aceleração de LLM
Um projeto de referência para desenvolvedores para criar chatbots de Geração Aumentada por Recuperação (RAG) no Windows usando TensorRT-LLM
Código, laboratórios e recursos para O'Reilly AI Systems Performance Engineering: otimização de GPU, treinamento distribuído, escalonamento de inferência e ajuste full-stack.
Este repositório contém o código-fonte para RULER: Qual é o Tamanho Real do Contexto dos Seus Modelos de Linguagem de Contexto Longo?
[ICML 2023] SmoothQuant: Quantização Pós-Treinamento Precisa e Eficiente para Grandes Modelos de Linguagem
Este repositório contém tutoriais e exemplos para o Triton Inference Server
Tencent Hunyuan A13B (resumido como Hunyuan-A13B), um LLM inovador e de código aberto construído sobre uma arquitetura MoE de grão fino.
Um pipeline otimizado de fala para texto para o modelo Whisper que suporta vários mecanismos de inferência
🚀🚀🚀 Este repositório lista alguns projetos públicos incríveis de CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX e Computação de Alto Desempenho (HPC).
Perguntas Frequentes
Qual é o repositório de #tensorrt-llm mais popular no GitHub?
O projeto de código aberto de #tensorrt-llm mais bem classificado no GitHub é SWivid/F5-TTS, com 15,634 estrelas. Código oficial para "F5-TTS: Um contador de histórias que simula fala fluente e fiel com Flow Matching"
Quais linguagens de programação são mais usadas nos repositórios de #tensorrt-llm?
Entre os projetos de #tensorrt-llm mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, Jupyter Notebook, Rust, C++.
Como é calculada a classificação dos repositórios de #tensorrt-llm?
Acompanhamos 24 repositórios ativos de código aberto marcados com #tensorrt-llm (com mais de 500 estrelas), totalizando 65,708 estrelas e uma média de 2,737 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.