#model-quantization Dépôts
Découvrez 59 dépôts GitHub open source actifs associés à #model-quantization, cumulant 217,873 étoiles au total (soit une moyenne de 3,692 étoiles par projet). Le projet en tête de ce thème est zai-org/ChatGLM-6B, avec 41,224 étoiles.
59 dépôts au total
ChatGLM-6B : Un modèle linguistique de dialogue bilingue open source | Modèle linguistique de dialogue bilingue open source
Série ChatGLM3 : LLM de conversation bilingues ouverts | LLM de conversation bilingues ouverts
[ICLR 2024] Fine-tuning de LLaMA pour suivre les instructions en 1 heure et 1,2 million de paramètres
Une bibliothèque unifiée de techniques d'optimisation de modèles SOTA telles que la quantification, la distillation, l'élagage, la recherche d'architecture neuronale, le décodage spéculatif, etc. Elle compresse les modèles d'apprentissage profond pour les frameworks de déploiement en aval tels que TensorRT-LLM, TensorRT, vLLM, etc., afin d'optimiser la vitesse d'inférence.
Ceci est un guide étape par étape pour débuter avec les grands modèles d'IA/LLM, comprenant des tutoriels et du code de démonstration. Il vous emmène des API au déploiement et au réglage fin des grands modèles locaux. Les fichiers de code seront fournis en versions en ligne pour Kaggle ou Colab, vous permettant d'apprendre même sans carte graphique. Le projet comprend également un petit "terrain de jeu" de code 🎡, où vous pouvez expérimenter des scripts d'IA intéressants. Parallèlement, il inclut une version chinoise miroir complète des devoirs du cours "Introduction à l'IA générative 2024" de Hung-Yi Lee.
Cet entrepôt enregistre principalement les questions d'entretien relatives aux ingénieurs d'algorithmes de grands modèles (LLM).
Une collection organisée d’articles, de benchmarks, de travaux de synthèse et d’outils sur la quantification des modèles, couvrant les réseaux à faible nombre de bits, les LLM, les modèles multimodaux et génératifs, la quantification vectorielle et par réseau, ainsi que le déploiement efficace.
Une liste organisée pour des grands modèles linguistiques efficaces
Recettes pour réduire, optimiser et personnaliser des modèles de vision de pointe. 💜
Excellents articles de recherche et outils pour la compression des LLM.
Plusieurs GPU NVIDIA ou Apple Silicon pour l'inférence de grands modèles linguistiques ?
Vitis AI est la pile de développement de Xilinx pour l'inférence IA sur les plateformes matérielles Xilinx, incluant à la fois les appareils de bord et les cartes Alveo.
[ICML 2023] SmoothQuant : Quantification post-entraînement précise et efficace pour les grands modèles linguistiques
Modèles larges inspirés du cerveau à impulsions (spiking), intégrant une attention hybride efficace, des modules MoE et l'encodage par impulsions dans leur architecture
Dépôt officiel Pytorch pour la compression extrême des grands modèles de langage via la quantification additive https://arxiv.org/pdf/2401.06118.pdf et PV-Tuning : Au-delà de l'estimation directe pour la compression extrême des LLM https://arxiv.org/abs/2405.14852
Les modèles Cosmos-Reason1 comprennent le bon sens physique et génèrent des décisions incarnées appropriées en langage naturel grâce à de longs processus de raisonnement en chaîne de pensée.
BlueLM (Grand Modèle Linguistique Blue Heart): Grands modèles linguistiques ouverts développés par vivo AI Lab
Implémentation à partir de zéro d'un modèle linguistique chinois de grande taille avec un petit nombre de paramètres.
Une liste organisée de projets open-source liés à DeepSeek Coder
Une implémentation extrêmement rapide de Whisper optimisée pour Apple Silicon à l'aide de MLX.
Tencent Hunyuan A13B (abrégé Hunyuan-A13B), un LLM innovant et open-source construit sur une architecture MoE à grain fin.
Boîte à outils de compression de modèles pour les grands modèles linguistiques et les modèles de diffusion
Plateforme efficace pour l'inférence et le service des LLM locaux, y compris un serveur API compatible avec OpenAI.
Foire aux questions
Quel est le dépôt #model-quantization le plus populaire sur GitHub ?
Le projet #model-quantization open source le mieux classé sur GitHub est zai-org/ChatGLM-6B, avec 41,224 étoiles. ChatGLM-6B : Un modèle linguistique de dialogue bilingue open source | Modèle linguistique de dialogue bilingue open source
Quels langages de programmation sont les plus utilisés dans les dépôts #model-quantization ?
Parmi les projets #model-quantization les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, C, Makefile.
Comment le classement des dépôts #model-quantization est-il calculé ?
Nous suivons 59 dépôts open source actifs associés à #model-quantization (500+ étoiles), totalisant 217,873 étoiles, avec une moyenne de 3,692 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.