#speculative-decoding Dépôts
Découvrez 37 dépôts GitHub open source actifs associés à #speculative-decoding, cumulant 83,160 étoiles au total (soit une moyenne de 2,247 étoiles par projet). Le projet en tête de ce thème est OpenBMB/MiniCPM, avec 11,898 étoiles.
37 dépôts au total
Ceci est un simple projet de tutoriel technique科普, axé principalement sur l'explication de concepts et de principes technologiques intéressants et de pointe. Chaque article vise à être lu en 5 minutes.
Génération de texte Transformer simple et efficace, native de pytorch, en moins de 1000 lignes de code Python.
Une bibliothèque unifiée de techniques d'optimisation de modèles SOTA telles que la quantification, la distillation, l'élagage, la recherche d'architecture neuronale, le décodage spéculatif, etc. Elle compresse les modèles d'apprentissage profond pour les frameworks de déploiement en aval tels que TensorRT-LLM, TensorRT, vLLM, etc., afin d'optimiser la vitesse d'inférence.
Rapid-MLX est un serveur d’inférence LLM open source (Apache 2.0) pour Apple Silicon, compatible avec OpenAI et Anthropic, basé sur MLX et axé sur des appels d’outils fiables pour les agents de programmation. Jusqu’à 4 fois plus rapide que MLX (mlx-lm) d’Apple avec les mêmes poids.
Miles est un framework d'apprentissage par renforcement orienté entreprise pour le post-entraînement de LLM et VLM, dérivé de et co-évoluant avec slime.
Exécutez rapidement de grands modèles Qwen sur les GPU que vous possédez réellement. Qwen3.8-27B sur une seule carte de 24 Go avec vLLM : 127 tok/s pour un seul utilisateur (381 lorsque la réponse cite le prompt), environ 1 035 tok/s avec 64 requêtes simultanées, et un contexte de 150k à 262k. Correctifs vLLM, pipeline de re-quantification et benchmarks.
La manière la plus rapide d’exécuter Qwen 3.8 Flash Next, Qwen 3.8 27B et Ternary Bonsai 2 27B sur un Mac : 125 tokens/s dans OpenCode avec un M5 Max, et un modèle 27B sur les Mac dotés de 16 Go. Décodage spéculatif MTP natif sur Apple Silicon, exact à n’importe quelle température. Serveur local compatible avec OpenAI et Anthropic.
Implémentation officielle de EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) et EAGLE-3 (NeurIPS'25).
Kit d'outils de compression de modèles conçu pour une meilleure convivialité, exhaustivité et efficacité.
Compétence d’agent pour optimiser progressivement la vitesse de service des LLM locaux (décodage, décodage spéculatif, préremplissage, KV, démarrage, TTFT) sur tout type de matériel et de quantification
Inférence locale au comportement comparable à celui d’une API de pointe : Qwen3.8-Flash-Next sur AMD Strix Halo, ainsi que de petits modèles NPU, via les API d’OpenAI et d’Anthropic sur un seul port.
Inférence sur CPU sans GPU pour les modèles MoE de 30B à 284B (Qwen3.8 176.5B certifié avec cache froide dans Cgroup v2 à 28,26/48,35 Gio, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
[ICML 2024] Rompre la dépendance séquentielle de l'inférence LLM grâce au décodage prospectif
Exécutez de grands modèles d’IA sur votre propre PC : Qwen3.8-Flash-Next avec le moteur de Strata, et GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder et MiniCPM-V avec un second moteur conçu pour PolyStrata. Installation en un clic sous Windows et Linux, avec une API OpenAI/Anthropic sur localhost.
📰 Articles et blogs incontournables sur le décodage spéculatif ⚡️
Votre iPhone aide votre Mac à exécuter un modèle de 27 milliards de paramètres : lecture plus rapide des invites et davantage de contexte via un câble USB-C
Une bibliothèque unifiée pour construire, évaluer et stocker des algorithmes de décodage spéculatif pour l'inférence LLM dans vLLM
Une collection organisée d'articles, de rapports techniques, de cadres et d'outils pour la distillation en politique (OPD) des grands modèles de langage
Inférence rapide à partir de grands modèles de langage via le décodage spéculatif
Moteur d’inférence ultra-rapide pour Apple Silicon, optimisé pour Qwen et Nemotron. Compatible avec les API d’OpenAI et d’Anthropic. Créé par l’équipe de nace.ai
Modèles ouverts de niveau frontière sur un TPU v5e-8 gratuit de Kaggle : GLM-5.3-Flash 320B MoE (~165 tok/s, avec notre propre moteur JAX) et Qwen3.8-27B bf16 (~130 tok/s), contexte de 262k et mise en cache des préfixes. Compatible avec Claude Code, Codex, opencode et pi.
Décodage des LLM jusqu’à 4× plus rapide sur Apple Silicon, sans perte. Portage MLX natif du décodage spéculatif DSpark de DeepSeek et DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 et Bonsai-27B ternaire.
37 tok/s avec Qwen3-Next-80B (48 Go) sur un ordinateur portable de 32 Go ; 24 sans spéculation, contre 2,8 avec llama.cpp ; lecture à 62 contre 16 tok/s. Plus rapide que llama.cpp sur les 13 modèles comparés en Q4_K_M. Des LLM plus grands que votre RAM, en C pur, sur CPU ou GPU.
Accélérez vos Transformers Hugging Face de 7,6 à 9 fois. Natif pour Hugging Face et PyTorch.
Inférence de LLM pair à pair dans le navigateur : mettez vos appareils en commun pour exécuter de grands modèles ouverts destinés aux agents conversationnels et de programmation.
Du professeur aux tuiles — un moteur de distillation et de service LLM construit de zéro : noyaux Triton/CUDA personnalisés, distillation FSDP, traitement par lots continu avec KV paginé, décodage spéculatif, une passerelle Rust, un oracle JAX et des outils d'interprétabilité.
Ablation entièrement sans censure et aux capacités améliorées de Qwen3.6-27B. Décodage spéculatif NVFP4 + z-lab DFlash (n=12) dans le conteneur unifié ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimisé pour l’acceptation des brouillons en contexte long sur DGX Spark. 6 variantes HF (BF16/NVFP4/MTP/MTP-XS), docker-compose et guide de démarrage rapide.
Foire aux questions
Quel est le dépôt #speculative-decoding le plus populaire sur GitHub ?
Le projet #speculative-decoding open source le mieux classé sur GitHub est OpenBMB/MiniCPM, avec 11,898 étoiles. MiniCPM5 : des LLMs de pointe sur l'appareil, petits mais puissants.
Quels langages de programmation sont les plus utilisés dans les dépôts #speculative-decoding ?
Parmi les projets #speculative-decoding les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, Jupyter Notebook, JavaScript.
Comment le classement des dépôts #speculative-decoding est-il calculé ?
Nous suivons 37 dépôts open source actifs associés à #speculative-decoding (500+ étoiles), totalisant 83,160 étoiles, avec une moyenne de 2,247 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.