#gpu-optimization Dépôts
Découvrez 55 dépôts GitHub open source actifs associés à #gpu-optimization, cumulant 216,210 étoiles au total (soit une moyenne de 3,931 étoiles par projet). Le projet en tête de ce thème est Dao-AILab/flash-attention, avec 25,330 étoiles.
55 dépôts au total
gpt-oss-120b et gpt-oss-20b sont deux modèles linguistiques à poids ouverts par OpenAI
Une extension PyTorch : Outils pour un entraînement en précision mixte et distribué facile dans PyTorch
Implémentation du modèle linguistique LLaMA basé sur nanoGPT. Prend en charge le flash attention, la quantification Int8 et GPTQ 4 bits, le réglage fin LoRA et LLaMA-Adapter, le pré-entraînement. Licence Apache 2.0.
Un algorithme de parallélisme de pipeline bidirectionnel pour le chevauchement calcul-communication dans l'entraînement DeepSeek V3/R1.
Entraînement minimaliste de grands modèles linguistiques avec parallélisme 3D
📹 Un framework plus flexible qui peut générer des vidéos à n'importe quelle résolution et créer des vidéos à partir d'images.
Code pour le document ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
Code, laboratoires et ressources pour O'Reilly AI Systems Performance Engineering : optimisation GPU, entraînement distribué, mise à l'échelle de l'inférence et réglage full-stack.
Un projet démontrant les solutions d'IA liées au Lidar, y compris trois réseaux DL Lidar/caméra accélérés par GPU (PointPillars, CenterPoint, BEVFusion) et les bibliothèques associées (cuPCL, 3D SparseConvolution, YUV2RGB, cuOSD).
NVIDIA DLSS est un réseau neuronal d'apprentissage profond nouveau et amélioré qui augmente les fréquences d'images et génère de superbes images nettes pour vos jeux
FB (Facebook) + GEMM (Multiplication générale de matrice par matrice) - https://code.fb.com/ml-applications/fbgemm/
Implémentation officielle de l'article SIGGRAPH 2024 « Une représentation gaussienne 3D hiérarchique pour le rendu en temps réel de très grands ensembles de données »
CUDA Tile IR est une représentation intermédiaire et une infrastructure de compilateur basée sur MLIR pour l'optimisation des noyaux CUDA, se concentrant sur les modèles de calcul basés sur des tuiles et les optimisations ciblant les unités Tensor Core de NVIDIA.
Flash Attention en ~100 lignes de CUDA (passage avant uniquement)
Checkpoint-engine est un middleware simple pour mettre à jour les poids du modèle dans les moteurs d'inférence LLM
Une attention distribuée pour une évolutivité linéaire dans l'entraînement sur des contextes ultra-longs et des données hétérogènes
Exemples démontrant les options disponibles pour programmer plusieurs GPU dans un nœud unique ou un cluster
Carnets de notes pour la spécialisation sur les grands modèles linguistiques (LLM)
Super-Résolution Vidéo en Streaming Basée sur la Diffusion en Temps Réel / Modèle de super-résolution vidéo en streaming en temps réel basé sur l'architecture de diffusion
SDK graphique 3D multiplateforme C++. Inclut des démos et du code d'aide (chargement de ressources, etc.) pour accélérer le développement d'applications Vulkan, OpenGL ES 2.0 et 3.x
JNeRF est un benchmark NeRF basé sur Jittor. JNeRF a réimplémenté instant-ngp et a obtenu les mêmes performances que le papier original.
Foire aux questions
Quel est le dépôt #gpu-optimization le plus populaire sur GitHub ?
Le projet #gpu-optimization open source le mieux classé sur GitHub est Dao-AILab/flash-attention, avec 25,330 étoiles. Attention exacte rapide et économe en mémoire
Quels langages de programmation sont les plus utilisés dans les dépôts #gpu-optimization ?
Parmi les projets #gpu-optimization les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, Cuda, HTML.
Comment le classement des dépôts #gpu-optimization est-il calculé ?
Nous suivons 55 dépôts open source actifs associés à #gpu-optimization (500+ étoiles), totalisant 216,210 étoiles, avec une moyenne de 3,931 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.