#tensorrt-llm Repository
Scopri 24 repository GitHub open source attivi contrassegnati con #tensorrt-llm, che raccolgono un totale di 65,708 stelle (con una media di 2,737 stelle per progetto). Il progetto leader di questo argomento è SWivid/F5-TTS, con 15,634 stelle.
24 repository in totale
Codice ufficiale per "F5-TTS: una fiaba che falsifica discorsi fluenti e fedeli con Flow Matching"
Una libreria unificata di tecniche di ottimizzazione dei modelli SOTA come quantizzazione, distillazione, pruning, ricerca di architetture neurali, decodifica speculativa, ecc. Comprime i modelli di deep learning per framework di distribuzione a valle come TensorRT-LLM, TensorRT, vLLM, ecc., per ottimizzare la velocità di inferenza.
📚Un elenco curato di Awesome LLM/VLM Inference Papers con codici: Flash-Attention, Paged-Attention, WINT8/4, Parallelism, ecc.🎉
[MLSys 2024 Best Paper Award] AWQ: Quantizzazione dei pesi consapevole dell'attivazione per la compressione e l'accelerazione di LLM
Un progetto di riferimento per sviluppatori per la creazione di chatbot Retrieval Augmented Generation (RAG) su Windows utilizzando TensorRT-LLM
Codice, laboratori e risorse per O'Reilly AI Systems Performance Engineering: ottimizzazione GPU, addestramento distribuito, scalabilità dell'inferenza e ottimizzazione full-stack.
Questo repository contiene il codice sorgente per RULER: Qual è la dimensione reale del contesto dei tuoi modelli linguistici a lungo contesto?
[ICML 2023] SmoothQuant: Quantizzazione Post-Training Accurata ed Efficiente per Grandi Modelli Linguistici
Un progetto per migliorare le capacità dei modelli linguistici di grandi dimensioni
Questo repository contiene tutorial ed esempi per Triton Inference Server
Tencent Hunyuan A13B (in breve Hunyuan-A13B), un LLM innovativo e open-source costruito su un'architettura MoE a grana fine.
Una pipeline ottimizzata da parlato a testo per il modello Whisper che supporta più motori di inferenza
🚀🚀🚀 Questo repository elenca alcuni fantastici progetti pubblici su CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX e High Performance Computing (HPC).
Domande frequenti
Qual è il repository #tensorrt-llm più popolare su GitHub?
Il progetto open source #tensorrt-llm più alto in classifica su GitHub è SWivid/F5-TTS, con 15,634 stelle. Codice ufficiale per "F5-TTS: una fiaba che falsifica discorsi fluenti e fedeli con Flow Matching"
Quali linguaggi di programmazione sono più utilizzati nei repository #tensorrt-llm?
Tra i progetti #tensorrt-llm più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, Jupyter Notebook, Rust, C++.
Come viene calcolata la classifica dei repository #tensorrt-llm?
Monitoriamo 24 repository open source attivi contrassegnati con #tensorrt-llm (500+ stelle), per un totale di 65,708 stelle e una media di 2,737 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.