#distributed-training Dépôts
147 dépôts au total
📹 Un framework plus flexible qui peut générer des vidéos à n'importe quelle résolution et créer des vidéos à partir d'images.
Liste d'articles sur les systèmes de grands modèles linguistiques (LLM)
VeOmni : Mise à l'échelle de la formation de modèles de toute modalité avec une bibliothèque distribuée de recettes centrée sur le modèle
Code, laboratoires et ressources pour O'Reilly AI Systems Performance Engineering : optimisation GPU, entraînement distribué, mise à l'échelle de l'inférence et réglage full-stack.
【LLMs Tour du Démon à Neuf Couches】Partage d'expériences pratiques et de connaissances sur les LLMs dans des domaines tels que le traitement du langage naturel (ChatGLM, Chinese-LLaMA-Alpaca, Xiaoyangtuo Vicuna, LLaMA, GPT4ALL, etc.), la récupération d'informations (langchain), la synthèse vocale, la reconnaissance vocale, le multimodal (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual, etc.).
Meditron est une suite de grands modèles linguistiques (LLM) open-source pour le domaine médical.
Questions d'entretien pour les postes d'algorithmes de grands modèles (avec réponses) : questions fréquentes et analyse des concepts "Questions d'entretien sur les grands modèles", "Entretien pour les postes d'algorithmes", "Questions fréquentes d'entretien", "Entretien sur les algorithmes de grands modèles", "Bases des applications de grands modèles"
Découverte automatique de stratégies de parallélisation rapides pour l'entraînement distribué de réseaux de neurones profonds
Entraînement de grands modèles linguistiques pour raisonner dans un espace latent continu
DLRover : Un système distribué automatique d'apprentissage profond
Un framework entièrement open source pour la création d'essaims d'entraînement RL sur Internet.
Un guide de démarrage rapide et un benchmark pour l'entraînement distribué de PyTorch.
Le dépôt officiel de Pai-Megatron-Patch pour la formation à grande échelle de LLM et VLM développé par Alibaba Cloud.
Une branche pour ajouter l'entraînement de modèles multimodaux à open-r1
Une plateforme de recherche d'analyse faciale fiable développée par le Tencent Youtu Lab
fitlog est un outil utilisé dans l'entraînement en apprentissage profond pour aider les utilisateurs à enregistrer des journaux et à gérer le code.
Compilateur PyTorch qui accélère l'entraînement et l'inférence. Obtenez des optimisations intégrées pour la performance, la mémoire, le parallélisme, et écrivez facilement les vôtres.
Bibliothèque de communication collective avec diverses primitives pour l'entraînement multi-machines.
Une collection de choses GÉNIALES sur les mixtures d'experts
DeepRec est un framework d'apprentissage profond de haute performance pour les recommandations, basé sur TensorFlow. Il est hébergé en incubation au sein de la LF AI & Data Foundation.
GigaTrain : Un cadre d'entraînement efficace et évolutif pour les modèles d'IA
Environnements d'apprentissage par renforcement pour Omniverse Isaac Gym
Une infrastructure ouverte pour démocratiser et décentraliser le développement de la superintelligence pour l'humanité.
Une attention distribuée pour une évolutivité linéaire dans l'entraînement sur des contextes ultra-longs et des données hétérogènes