#cuda Dépôts
325 dépôts au total
https://wavespeed.ai/ Meilleur framework d'optimisation des performances d'inférence pour HuggingFace Diffusers sur les GPU NVIDIA.
Boîte à outils de quantification (compression) de modèles LLM, avec prise en charge de l’accélération matérielle pour Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, les NPU Huawei Ascend et les processeurs Intel/AMD/Apple via HF, vLLM et SGLang.
Exécutez des modèles dont la taille dépasse la capacité de votre RAM ou VRAM en diffusant les experts MoE depuis un SSD. Basé sur llama.cpp.
GraphVite : Un système général et haute performance d'incorporation de graphes
Le script de build FFmpeg offre un moyen simple de créer une FFmpeg statique sur OSX et Linux avec des codecs non libres inclus.
Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version plus petite de vLLM
CUDA Tile IR est une représentation intermédiaire et une infrastructure de compilateur basée sur MLIR pour l'optimisation des noyaux CUDA, se concentrant sur les modèles de calcul basés sur des tuiles et les optimisations ciblant les unités Tensor Core de NVIDIA.
cuTile Rust fournit un DSL sûr de programmation de noyaux basé sur des tuiles pour le langage de programmation Rust. Il dispose d'une API côté hôte sécurisée pour passer des tenseurs à des fonctions de noyau exécutées de manière asynchrone.
RAFT contient des algorithmes et des primitives fondamentaux et largement utilisés pour l'apprentissage automatique et la récupération d'informations. Les algorithmes sont accélérés par CUDA et forment des blocs de construction pour écrire plus facilement des applications haute performance.
Matériaux du cours sur les systèmes d'apprentissage profond efficaces
Framework personnalisable et multiplateforme pour le traitement multimédia/vidéo. Avec une forte accélération GPU, une conception hétérogène, une prise en charge multilingue, une facilité d'utilisation, une compatibilité multi-framework et de hautes performances, le framework est idéal pour le transcodage, l'inférence IA, l'intégration d'algorithmes, le streaming vidéo en direct, et plus encore.
Bibliothèque d'apprentissage automatique avec une API TypeScript et un backend Rust. Compatibilité CUDA et WebGPU. Conçue pour comprendre le fonctionnement interne des frameworks et modèles ML.
une implémentation de l'interpolation de trames vidéo via convolution séparable adaptative utilisant PyTorch
UniLab : une infrastructure régie par des contrats pour l’apprentissage robotique sur différents moteurs physiques et matériels
cuDNN Frontend est le point d'entrée moderne et open source de NVIDIA vers la bibliothèque cuDNN et une collection croissante de noyaux open source hautes performances.
Une liste organisée des meilleurs livres sur la programmation CUDA
Un DSL intégré à Python qui facilite l'écriture de noyaux ML rapides et évolutifs avec un minimum de code passe-partout.
Nœuds d'inférence d'apprentissage profond pour ROS / ROS2 avec prise en charge de NVIDIA Jetson et TensorRT
Entraînement rapide de champ de radiance neuronal avec des trajectoires de caméra libres
Matériel de formation associé à la série de formation CUDA de NVIDIA (www.olcf.ornl.gov/cuda-training-series/)
BitCracker est le premier outil de craquage de mots de passe open source pour les unités de mémoire chiffrées avec BitLocker.
Exemples démontrant les options disponibles pour programmer plusieurs GPU dans un nœud unique ou un cluster
Objectif : Permettre des outils exceptionnels pour les utilisateurs de Bazel de la famille des langages C.
Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.