#gguf Repositorios
Descubre 49 repositorios activos de código abierto de GitHub etiquetados con #gguf, que acumulan 165,186 estrellas en total (una media de 3,371 estrellas por proyecto). El líder de este tema es AlexsJones/llmfit, con 39,174 estrellas.
50 repositorios en total
Cientos de modelos y proveedores. Un solo comando para encontrar lo que funciona en tu hardware.
Ajuste fino de LLMs desde un YAML. El streaming por capas entrena un modelo de 8B en una GPU de portátil de 4 GB.
Este es un sencillo proyecto de tutorial técnico科普, centrado principalmente en explicar conceptos y principios tecnológicos interesantes y de vanguardia. Cada artículo se esfuerza por completarse en 5 minutos de lectura.
🛡️ BLA (bla-agents / Blind LLM Agents) — servidor MCP y CLI de defensa Blue de código abierto que protege JS/TS, Electron ASAR, WASM, Python, binarios nativos, SQLite, GGUF/Safetensors y Android DEX frente a agentes de ingeniería inversa basados en IA (REA).
⚡ Motor de inferencia WebGPU en Rust puro — Compatible con la API de OpenAI, nativo para GGUF, funciona en cualquier GPU. Sin Python. Sin llama.cpp. Un solo binario.
Demostración de cámara web en tiempo real con SmolVLM y servidor llama.cpp
Atomic Agent es un agente de IA con prioridad local. Ejecuta modelos de pesos abiertos en tu propia máquina mediante llama.cpp.
La navaja suiza de la IA offline. Chatea, mira, habla y genera imágenes en tu teléfono o Mac: modelos GGUF, visión, conversión de voz a texto con Whisper, Stable Diffusion, llamadas a herramientas y servidores de red local. Funciona en tu CPU, GPU o NPU. Sin cuenta, sin clave API, ningún dato sale de tu dispositivo.
Ejecuta GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) y Hy4-Flash (220B) en tus propias GPU: desde 8 GB de VRAM, compatibles con NVIDIA y AMD, un solo panel de control y una API compatible con OpenAI y Anthropic.
Maid es una aplicación gratuita y de código abierto para interactuar con modelos llama.cpp localmente, y con modelos Anthropic, DeepSeek, Ollama, Mistral y OpenAI de forma remota.
Aprende Ollama activamente, despliegue de grandes modelos con CPU, dirección de lectura en línea: https://datawhalechina.github.io/handy-ollama/
Servidor nativo de inferencia de LLM para Apple Silicon. Compatible con las API de OpenAI y Anthropic. Sin Python. Aplicación de macOS con backend en Zig y frontend en Swift, compatible con la generación de chat, música, voz y vídeo.
El framework de agente LLM en ComfyUI incluye nodos de servidor MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 y prompt FLUX, acceso a Feishu, discord y se adapta a todos los LLM con interfaces similares a openai / aisuite, como o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Adaptado a LLM locales, VLM, gguf como llama-3.3 Janus-Pro, Linkage GraphRAG
Ejecuta modelos de IA localmente en tu máquina con enlaces de Node.js para llama.cpp. Aplica un esquema JSON a la salida del modelo en el nivel de generación.
Aplicación de IA local y motor de inferencia para agentes. Ejecute LLM de pesos abiertos localmente: privado, 100% sin conexión en su computadora. Únase a nuestro Discord: https://discord.com/invite/8wGSsvmg4V
Modelos de decisión abiertos de 0,8B a 27B: una probabilidad calibrada para cada opción en una sola pasada y un razonamiento breve solo cuando haya incertidumbre. Motor para vLLM, llama.cpp y MLX.
Eficiencia de la cuantización posterior al entrenamiento, precisión de la cuantización con entrenamiento consciente
NobodyWho es un motor de inferencia que te permite ejecutar LLMs de forma local y eficiente en cualquier dispositivo.
La forma más fácil y rápida de ejecutar LLM personalizados y ajustados localmente o en el borde
Modelos de reconocimiento de voz Fun-ASR, con compatibilidad nativa con Hugging Face Transformers para Fun-ASR-Nano y rutas de implementación independientes para FunASR, vLLM y llama.cpp.
Una herramienta DevOps de código abierto de la CNCF para empaquetar y versionar modelos de IA/ML, conjuntos de datos, código y configuraciones en un artefacto OCI.
Inferencia en CPU sin GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado con caché fría en Cgroup v2 de 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Traductor de pantalla en tiempo real para Android de código abierto y sin root, ideal para juegos, novelas visuales y manga. Admite OCR en el dispositivo y en la nube, LLM sin conexión, múltiples servicios de traducción, traducciones en pantalla y texto a voz (TTS).
Ejecuta grandes modelos de IA en tu propio PC: Qwen3.8-Flash-Next con el motor de Strata, y GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder y MiniCPM-V con un segundo motor creado para PolyStrata. Instalación con un clic para Windows y Linux, con una API de OpenAI/Anthropic en localhost.
Ejecuta modelos que superan la capacidad de tu RAM o VRAM transmitiendo expertos MoE desde un SSD. Basado en llama.cpp.
Ejecuta modelos MoE más grandes que tu RAM. MoE de última generación en un teléfono, portátil o dispositivo edge. Sin pérdidas, con llama.cpp sin modificar. Un optimizador de streaming adaptativo. Cualquier hardware, sistema operativo, modelo y cuantización, a través de un servidor local compatible con OpenAI.
La suite de IA del lado del cliente más avanzada y totalmente fuera de línea disponible hoy en Android.
Reescribe borradores de IA para que parezcan escritos por una persona: funciona localmente y conserva los hechos
jevos: una alternativa de código abierto a Jev y Microsoft-Decision-1. Decisiones de sí o no, opciones y puntuaciones con probabilidades, en la CPU de tu portátil.
Una CLI para estimar los requisitos de memoria de inferencia para modelos de Hugging Face, escrita en Python.
Modelos abiertos de decisión multimodal, de 0,8B a 27B, para texto, imágenes y vídeo. Decide asignando probabilidades a tus propios candidatos y localiza con cuadros delimitadores, en lugar de generar texto. API gratuita, ONNX, GGUF, vLLM y SGLang; incluye código de ajuste fino.
LLM.swift es una biblioteca sencilla y legible que le permite interactuar fácilmente con modelos de lenguaje grandes de forma local para macOS, iOS, watchOS, tvOS y visionOS.
37 tok/s con Qwen3-Next-80B (48 GB) en un portátil de 32 GB; 24 sin borradores, frente a 2,8 con llama.cpp; lectura a 62 frente a 16 tok/s. Más rápido que llama.cpp en los 13 modelos comparados en Q4_K_M. LLM más grandes que tu RAM, en C puro, para CPU o GPU.
Un motor nativo de inferencia de modelos de lenguaje grande (LLM) y un entorno de ejecución de agentes .NET para modelos GGUF. TensorSharp ofrece una aplicación de consola, una interfaz de chatbot basada en la web, una aplicación para iPhone y API HTTP compatibles con Ollama/OpenAI para el acceso mediante programación. Es compatible con Windows, macOS, iOS y Linux, con capacidades completas de GPU.
Avanza con tu propia inteligencia: escribe aplicaciones en Go que integren directamente llama.cpp para realizar inferencia local mediante aceleración de hardware en Linux, macOS, Windows y WebAssembly.
Nodos de ComfyUI para modelos de visión-lenguaje: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Además de detección de vocabulario abierto, segmentación SAM2/SAM3, razonamiento temporal de video, GGUF a través de llama.cpp y APIs de LLM/VLM alojadas.
Librería de Go para búsqueda vectorial incrustada y embeddings semánticos utilizando llama.cpp
Inferencia rápida y exacta para los modelos StartLux-Decision en GPU NVIDIA: los archivos GGUF publicados se ejecutan en núcleos tensoriales int8 y de 4 bits a través de la API /v1/systemone, con hasta 5,3 veces menos latencia que vLLM en FP8 y respuestas idénticas bit a bit.
Xolotl: ejecuta DeepSeek-V4.1-Flash, con sus 552B parámetros completos, como agente de programación local en un solo PC gaming (RTX 4090 + 110 GB de RAM): ~33 tok/s como agente, ~41 en modo rápido y contexto de 512K. Además, Inkling-2-Mini (Thinking Machines, motor propio + generador de borradores MTP), GLM-5.3-Flash, Qwen3.8 y LFM3-Omni. Expertos MoE distribuidos por niveles entre la VRAM, la RAM y NVMe (Xolotl Direct). API de OpenAI + Anthropic.
Inferencia local para modelos de lenguaje de difusión (LLaDA, Dream), escrita en Mojo
Síntesis de voz, reconocimiento de voz y detección de actividad vocal para conversaciones por voz, en C++ sobre ggml: Qwen3-TTS, Irodori-TTS, Qwen3-ASR, ReazonSpeech, parakeet y Silero VAD en Metal, Vulkan y la CPU, con un servidor compatible con OpenAI y transcripción en tiempo real.
Reconocimiento de voz generativo centrado en el árabe — Audar-ASR-V1 (Flash + Turbo). N.º 1 en la clasificación Open Universal Arabic ASR. Tarjetas de modelo, puntos de referencia e inferencia.
Preguntas frecuentes
¿Cuál es el repositorio de #gguf más popular en GitHub?
El proyecto de código abierto de #gguf mejor posicionado en GitHub es AlexsJones/llmfit, con 39,174 estrellas. Cientos de modelos y proveedores. Un solo comando para encontrar lo que funciona en tu hardware.
¿Qué lenguajes de programación se utilizan más en los repositorios de #gguf?
Entre los proyectos de #gguf mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C++, TypeScript, Rust.
¿Cómo se calcula la clasificación de los repositorios de #gguf?
Seguimos 49 repositorios activos de código abierto etiquetados con #gguf (500+ estrellas), que suman un total de 165,186 estrellas, con una media de 3,371 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.