#inference-optimization Dépôts
Découvrez 41 dépôts GitHub open source actifs associés à #inference-optimization, cumulant 86,309 étoiles au total (soit une moyenne de 2,105 étoiles par projet). Le projet en tête de ce thème est lllyasviel/stable-diffusion-webui-forge, avec 12,902 étoiles.
41 dépôts au total
slime est un framework d’entraînement de LLM conçu pour la mise à l’échelle de l’apprentissage par renforcement.
Outils d'infrastructure IA testés en production pour le développement efficace d'AGI et l'innovation pilotée par la communauté
[EMNLP'23, ACL'24] Pour accélérer l'inférence des LLM et améliorer la perception des informations clés par les LLM, compresse le prompt et le KV-Cache, ce qui permet une compression jusqu'à 20 fois avec une perte de performance minimale.
Qwen3.8 est une série de grands modèles de langage développée par l’équipe Qwen du groupe Alibaba.
Exécutez rapidement de grands modèles Qwen sur les GPU que vous possédez réellement. Qwen3.8-27B sur une seule carte de 24 Go avec vLLM : 127 tok/s pour un seul utilisateur (381 lorsque la réponse cite le prompt), environ 1 035 tok/s avec 64 requêtes simultanées, et un contexte de 150k à 262k. Correctifs vLLM, pipeline de re-quantification et benchmarks.
Opérateurs d'inférence pour réseaux neuronaux à virgule flottante à haute efficacité pour mobile, serveur et Web
MiMo : Libérer le potentiel de raisonnement du modèle linguistique – de la pré-formation à la post-formation
Liste d'articles sur les systèmes de grands modèles linguistiques (LLM)
Ce dépôt contient des questions d'entretien LLM (modèle linguistique large) posées dans des entreprises de premier plan comme Google, Nvidia, Meta, Microsoft et des entreprises du Fortune 500.
https://wavespeed.ai/ [WIP] La solution d'optimisation d'inférence tout-en-un pour ComfyUI, universelle, flexible et rapide.
Un tutoriel montrant comment configurer l'API de détection d'objets de TensorFlow sur Raspberry Pi
Recettes pour mettre à l'échelle le calcul en temps d'inférence des modèles ouverts
Représentation et Abaissement de Référence des Modèles ONNX dans l'Infrastructure du Compilateur MLIR
Une liste de papiers sur des travaux récents concernant la compression de jetons pour Vit et VLM
Modèle de base vidéo de niveau industriel pour la génération unifiée de texte en vidéo (T2V) et d'image en vidéo (I2V).
BladeDISC est un projet de compilateur à forme dynamique de bout en bout pour les charges de travail d'apprentissage automatique.
Omni SenseVoice : Reconnaissance vocale à haute vitesse avec horodatage des mots 🗣️🎯
Une extension pour stable-diffusion-webui pour charger des modèles lycoris.
Algorithmes et systèmes de LLM en pratique avec PyTorch, Triton et CUDA. « Tutoriel sur les algorithmes et systèmes de LLM » : architectures et entraînement des modèles, post-entraînement, accélération de l’inférence, optimisation des performances et des opérateurs, avec des exercices Notebook, des explications des réponses, des tests et des expériences.
Version Cline localisée en chinois, Cline est un assistant de programmation autonome qui s'exécute dans votre IDE et qui, avec votre permission, peut créer/modifier des fichiers, exécuter des commandes, utiliser le navigateur et d'autres fonctions.
Krasis est un runtime LLM hybride qui se concentre sur l'exécution efficace de modèles plus volumineux sur du matériel grand public à VRAM limitée
Apprenez l’ingénierie de l’inférence des LLM étape par étape : du cache KV, de PagedAttention et du traitement continu par lots à vLLM, SGLang et aux GPU.
[ICLR 2024 Spotlight] Implémentation officielle de ScaleCrafter pour une génération visuelle à plus haute résolution au moment de l'inférence.
Foire aux questions
Quel est le dépôt #inference-optimization le plus populaire sur GitHub ?
Le projet #inference-optimization open source le mieux classé sur GitHub est lllyasviel/stable-diffusion-webui-forge, avec 12,902 étoiles.
Quels langages de programmation sont les plus utilisés dans les dépôts #inference-optimization ?
Parmi les projets #inference-optimization les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, C++, C.
Comment le classement des dépôts #inference-optimization est-il calculé ?
Nous suivons 41 dépôts open source actifs associés à #inference-optimization (500+ étoiles), totalisant 86,309 étoiles, avec une moyenne de 2,105 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.