#gguf Dépôts
Découvrez 49 dépôts GitHub open source actifs associés à #gguf, cumulant 165,186 étoiles au total (soit une moyenne de 3,371 étoiles par projet). Le projet en tête de ce thème est AlexsJones/llmfit, avec 39,174 étoiles.
50 dépôts au total
Des centaines de modèles et fournisseurs. Une seule commande pour trouver ce qui fonctionne sur votre matériel.
Affinez les LLM à partir d'un YAML. Le streaming par couches entraîne un modèle 8B sur un GPU de laptop de 4 Go.
Ceci est un simple projet de tutoriel technique科普, axé principalement sur l'explication de concepts et de principes technologiques intéressants et de pointe. Chaque article vise à être lu en 5 minutes.
🛡️ BLA (bla-agents / Blind LLM Agents) — serveur MCP et CLI de défense Blue open source qui protège JS/TS, Electron ASAR, WASM, Python, les binaires natifs, SQLite, GGUF/Safetensors et Android DEX contre les agents d’ingénierie inverse basés sur l’IA (REA).
⚡ Moteur d'inférence WebGPU en Rust pur — Compatible avec l'API OpenAI, natif GGUF, fonctionne sur n'importe quel GPU. Pas de Python. Pas de llama.cpp. Binaire unique.
Atomic Agent est un agent d’IA privilégiant l’exécution locale. Il exécute des modèles à poids ouverts sur votre propre machine via llama.cpp.
Le couteau suisse de l'IA hors ligne. Discutez, voyez, parlez et générez des images sur votre téléphone ou Mac — LLM GGUF, vision, transcription vocale Whisper, Stable Diffusion, appels d'outils et serveurs réseau locaux. Fonctionne sur votre CPU, GPU ou NPU. Aucun compte, aucune clé API, aucune donnée ne quitte votre appareil.
Exécutez GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) et Hy4-Flash (220B) sur vos propres GPU — à partir de 8 Go de VRAM, avec prise en charge de NVIDIA et AMD, un tableau de bord unique et une API compatible avec OpenAI et Anthropic.
Maid est une application gratuite et open source permettant d’interagir avec les modèles llama.cpp localement, ainsi qu’avec les modèles Anthropic, DeepSeek, Ollama, Mistral et OpenAI à distance.
Apprenez Ollama activement, déploiement de grands modèles sur CPU, adresse de lecture en ligne : https://datawhalechina.github.io/handy-ollama/
Serveur d’inférence LLM natif pour Apple Silicon. Compatible avec les API d’OpenAI et d’Anthropic. Sans Python. Application macOS avec backend en Zig et frontend en Swift, prenant en charge la génération de conversations, de musique, de voix et de vidéos.
Le framework d'agent LLM dans ComfyUI comprend les nœuds serveur MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 et prompt FLUX, un accès à Feishu, discord et s'adapte à tous les LLM avec des interfaces similaires à openai / aisuite, tels que o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Adapté aux LLM locaux, VLM, gguf tels que llama-3.3 Janus-Pro, Linkage GraphRAG
Exécutez des modèles d'IA localement sur votre machine avec des liaisons Node.js pour llama.cpp. Appliquez un schéma JSON à la sortie du modèle au niveau de la génération.
Application d'IA locale et moteur d'inférence pour agents. Exécutez des LLM à poids ouverts localement — privé, 100 % hors ligne sur votre ordinateur. Rejoignez notre Discord : https://discord.com/invite/8wGSsvmg4V
Modèles de décision ouverts de 0,8B à 27B : une probabilité calibrée pour chaque option en un seul passage, et un bref raisonnement uniquement en cas d’incertitude. Moteur pour vLLM, llama.cpp et MLX.
Efficacité de la quantification après entraînement, précision de la quantification avec entraînement conscient
NobodyWho est un moteur d'inférence qui vous permet d'exécuter des LLM localement et efficacement sur n'importe quel appareil.
Le moyen le plus simple et le plus rapide d'exécuter des LLM personnalisés et affinés localement ou en périphérie
Modèles de reconnaissance vocale Fun-ASR, avec prise en charge native de Hugging Face Transformers pour Fun-ASR-Nano et des voies de déploiement distinctes pour FunASR, vLLM et llama.cpp.
Un outil DevOps open source du CNCF pour empaqueter et versionner des modèles IA/ML, des ensembles de données, du code et des configurations dans un artefact OCI.
Inférence sur CPU sans GPU pour les modèles MoE de 30B à 284B (Qwen3.8 176.5B certifié avec cache froide dans Cgroup v2 à 28,26/48,35 Gio, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Traducteur d'écran en temps réel pour Android, open source et sans root, adapté aux jeux, aux visual novels et aux mangas. Prend en charge l'OCR sur appareil et dans le cloud, les LLM hors ligne, plusieurs services de traduction, les traductions à l'écran et la synthèse vocale (TTS).
Exécutez de grands modèles d’IA sur votre propre PC : Qwen3.8-Flash-Next avec le moteur de Strata, et GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder et MiniCPM-V avec un second moteur conçu pour PolyStrata. Installation en un clic sous Windows et Linux, avec une API OpenAI/Anthropic sur localhost.
Exécutez des modèles dont la taille dépasse la capacité de votre RAM ou VRAM en diffusant les experts MoE depuis un SSD. Basé sur llama.cpp.
Exécutez des modèles MoE plus volumineux que votre RAM. Des MoE de pointe sur un téléphone, un ordinateur portable ou un appareil edge. Sans perte, avec llama.cpp standard. Un optimiseur adaptatif en streaming. Tout matériel, tout système d’exploitation, tout modèle et toute quantification, via un serveur local compatible avec OpenAI.
La suite d'IA côté client la plus avancée et entièrement hors ligne disponible aujourd'hui sur Android.
Réécrit les brouillons générés par l’IA pour leur donner un ton humain — fonctionne en local et préserve les faits
jevos : une alternative open source à Jev et Microsoft-Decision-1. Des décisions par oui ou non, des choix et des scores avec des probabilités, sur le processeur de votre ordinateur portable.
Un CLI pour estimer les exigences en mémoire d'inférence des modèles Hugging Face, écrit en Python.
Modèles ouverts de décision multimodale, de 0,8B à 27B, pour le texte, les images et la vidéo. Prenez des décisions en attribuant des probabilités à vos propres candidats et localisez avec des cadres de délimitation, plutôt que de générer du texte. API gratuite, ONNX, GGUF, vLLM et SGLang ; code de fine-tuning inclus.
LLM.swift est une bibliothèque simple et lisible qui vous permet d'interagir facilement avec de grands modèles linguistiques localement pour macOS, iOS, watchOS, tvOS et visionOS.
37 tok/s avec Qwen3-Next-80B (48 Go) sur un ordinateur portable de 32 Go ; 24 sans spéculation, contre 2,8 avec llama.cpp ; lecture à 62 contre 16 tok/s. Plus rapide que llama.cpp sur les 13 modèles comparés en Q4_K_M. Des LLM plus grands que votre RAM, en C pur, sur CPU ou GPU.
Un moteur natif d’inférence de LLM .NET et un environnement d’exécution d’agents pour les modèles GGUF. TensorSharp fournit une application en ligne de commande, une interface de chatbot web, une application iPhone et des API HTTP compatibles avec Ollama/OpenAI pour un accès programmatique. Il prend en charge Windows, macOS, iOS et Linux avec une prise en charge complète du GPU.
Progressez avec votre propre intelligence : écrivez des applications Go qui intègrent directement llama.cpp pour effectuer des inférences locales avec accélération matérielle sous Linux, macOS, Windows et WebAssembly.
Nœuds ComfyUI pour les modèles vision-langage : Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Inclut également la détection à vocabulaire ouvert, la segmentation SAM2/SAM3, le raisonnement temporel vidéo, GGUF via llama.cpp, et des API LLM/VLM hébergées.
Bibliothèque Go pour la recherche vectorielle intégrée et les embeddings sémantiques utilisant llama.cpp
Inférence rapide et exacte des modèles StartLux-Decision sur GPU NVIDIA : les fichiers GGUF publiés s’exécutent sur des cœurs tensoriels int8 et 4 bits via l’API /v1/systemone, avec une latence jusqu’à 5,3 fois inférieure à celle de vLLM en FP8 et des réponses identiques au bit près.
Xolotl : exécutez DeepSeek-V4.1-Flash, avec l’intégralité de ses 552B paramètres, comme agent de programmation local sur un seul PC gaming (RTX 4090 + 110 Go de RAM) : ~33 tok/s en mode agent, ~41 en mode rapide, avec un contexte de 512K. Également disponible : Inkling-2-Mini (Thinking Machines, moteur propriétaire + générateur d’ébauches MTP), GLM-5.3-Flash, Qwen3.8 et LFM3-Omni. Experts MoE répartis par niveaux entre la VRAM, la RAM et le NVMe (Xolotl Direct). API OpenAI + Anthropic.
Inférence locale pour les modèles de langage à diffusion (LLaDA, Dream), écrite en Mojo
Synthèse vocale, reconnaissance vocale et détection d’activité vocale pour les conversations vocales, en C++ avec ggml : Qwen3-TTS, Irodori-TTS, Qwen3-ASR, ReazonSpeech, parakeet et Silero VAD sur Metal, Vulkan et le CPU, avec un serveur compatible avec OpenAI et une transcription en direct.
Reconnaissance vocale générative axée sur l'arabe — Audar-ASR-V1 (Flash + Turbo). N° 1 au classement Open Universal Arabic ASR. Fiches de modèle, benchmarks et inférence.
Foire aux questions
Quel est le dépôt #gguf le plus populaire sur GitHub ?
Le projet #gguf open source le mieux classé sur GitHub est AlexsJones/llmfit, avec 39,174 étoiles. Des centaines de modèles et fournisseurs. Une seule commande pour trouver ce qui fonctionne sur votre matériel.
Quels langages de programmation sont les plus utilisés dans les dépôts #gguf ?
Parmi les projets #gguf les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, TypeScript, Rust.
Comment le classement des dépôts #gguf est-il calculé ?
Nous suivons 49 dépôts open source actifs associés à #gguf (500+ étoiles), totalisant 165,186 étoiles, avec une moyenne de 3,371 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.