#gguf Repositórios
Descubra 49 repositórios ativos de código aberto no GitHub marcados com #gguf, acumulando um total de 165,186 estrelas (uma média de 3,371 por projeto). O líder deste tópico é AlexsJones/llmfit, com 39,174 estrelas.
50 repositórios no total
Centenas de modelos e provedores. Um comando para encontrar o que roda no seu hardware.
Ajuste fino de LLMs a partir de um YAML. Streaming por camadas treina um modelo de 8B em uma GPU de laptop de 4 GB.
Este é um projeto simples de tutorial de divulgação científica e técnica, focado principalmente em explicar alguns conceitos e princípios técnicos interessantes e de ponta. Cada artigo deve ser lido em 5 minutos.
🛡️ BLA (bla-agents / Blind LLM Agents) — servidor MCP e CLI de defesa Blue de código aberto que protege JS/TS, Electron ASAR, WASM, Python, binários nativos, SQLite, GGUF/Safetensors e Android DEX contra agentes de engenharia reversa com IA (REA).
⚡ Motor de inferência WebGPU em Rust puro — Compatível com a API da OpenAI, nativo para GGUF, roda em qualquer GPU. Sem Python. Sem llama.cpp. Binário único.
Demonstração de webcam em tempo real com SmolVLM e servidor llama.cpp
Atomic Agent é um agente de IA com prioridade local. Executa modelos de pesos abertos na sua própria máquina por meio do llama.cpp.
O canivete suíço da IA offline. Converse, veja, fale e gere imagens no seu celular ou Mac — LLMs GGUF, visão, conversão de fala em texto Whisper, Stable Diffusion, chamadas de ferramentas e servidores de rede local. Funciona na sua CPU, GPU ou NPU. Sem conta, sem chave de API, nenhum dado sai do seu dispositivo.
Execute GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) e Hy4-Flash (220B) nas suas próprias GPUs — a partir de 8 GB de VRAM, com suporte para NVIDIA e AMD, um único painel e uma API compatível com OpenAI e Anthropic.
Maid é um aplicativo livre e de código aberto para interagir com modelos llama.cpp localmente, e com modelos Anthropic, DeepSeek, Ollama, Mistral e OpenAI remotamente.
Aprendendo Ollama na prática: execute modelos grandes na CPU, leia online em: https://datawhalechina.github.io/handy-ollama/
Servidor nativo de inferência de LLM para Apple Silicon. Compatível com as APIs da OpenAI e da Anthropic. Sem Python. Aplicativo macOS com backend em Zig e frontend em Swift, com suporte à geração de chat, música, voz e vídeo.
O Framework de Agente LLM no ComfyUI inclui o servidor MCP, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 e nós de prompt FLUX, acesso ao Feishu, discord, e se adapta a todos os LLMs com interfaces semelhantes ao openai / aisuite, como o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Adaptado a LLMs locais, VLM, GGUF como llama-3.3 Janus-Pro, Linkage graphRAG
Execute modelos de IA localmente na sua máquina com bindings para llama.cpp em node.js. Imponha um schema JSON na saída do modelo no nível de geração
Inferência de fala para texto ggml para mais de 16 famílias de modelos
Aplicativo de IA local e motor de inferência para agentes. Execute LLMs de pesos abertos localmente — privado, 100% offline no seu computador. Junte-se ao nosso Discord: https://discord.com/invite/8wGSsvmg4V
Modelos abertos de decisão de 0,8B a 27B: uma probabilidade calibrada para cada opção em uma única passagem e um breve raciocínio apenas quando houver incerteza. Motor para vLLM, llama.cpp e MLX.
Eficiência da quantização pós-treinamento, precisão da quantização com treinamento consciente
NobodyWho é um motor de inferência que permite executar LLMs localmente e de forma eficiente em qualquer dispositivo.
A maneira mais fácil e rápida de executar LLMs personalizados e ajustados localmente ou na borda
Modelos de reconhecimento de fala Fun-ASR, com suporte nativo ao Hugging Face Transformers para o Fun-ASR-Nano e caminhos de implantação separados para FunASR, vLLM e llama.cpp.
Uma ferramenta DevOps de código aberto da CNCF para empacotar e versionar modelos de IA/ML, conjuntos de dados, código e configuração em um Artefato OCI.
Inferência em CPU sem GPU para modelos MoE de 30B–284B (Qwen3.8 176.5B certificado com cache fria no Cgroup v2 com 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Tradutor de tela em tempo real para Android, de código aberto e sem root, adequado para jogos, visual novels e mangás. Suporta OCR no dispositivo e na nuvem, LLMs offline, vários serviços de tradução, traduções na tela e texto para fala (TTS).
Execute grandes modelos de IA no seu próprio PC: Qwen3.8-Flash-Next no mecanismo da Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V em um segundo mecanismo desenvolvido para a PolyStrata. Instalação com um clique para Windows e Linux, com API OpenAI/Anthropic no localhost.
Execute modelos maiores do que a capacidade da sua RAM ou VRAM transmitindo especialistas MoE a partir de um SSD. Baseado no llama.cpp.
Execute modelos MoE maiores que a sua RAM. MoE de ponta em um celular, laptop ou dispositivo de borda. Sem perdas, com o llama.cpp padrão. Um otimizador adaptativo de streaming. Qualquer hardware, sistema operacional, modelo e quantização, por meio de um servidor local compatível com a OpenAI.
A suíte de IA do lado do cliente mais avançada e totalmente offline disponível hoje no Android.
Reescreve rascunhos de IA para que pareçam escritos por uma pessoa — funciona localmente e preserva os fatos
jevos: uma alternativa de código aberto ao Jev e ao Microsoft-Decision-1. Decisões de sim ou não, escolhas e pontuações com probabilidades, na CPU do seu laptop.
Um CLI para estimar os requisitos de memória de inferência para modelos Hugging Face, escrito em Python.
Modelos abertos de decisão multimodal, de 0,8B a 27B, para texto, imagens e vídeo. Tome decisões atribuindo probabilidades aos seus próprios candidatos e localize elementos com caixas delimitadoras, em vez de gerar texto. API gratuita, ONNX, GGUF, vLLM e SGLang; código de ajuste fino incluído.
LLM.swift é uma biblioteca simples e legível que permite interagir com modelos de linguagem grandes localmente com facilidade para macOS, iOS, watchOS, tvOS e visionOS.
37 tok/s com Qwen3-Next-80B (48 GB) num portátil com 32 GB; 24 sem rascunhos, contra 2,8 com llama.cpp; leitura a 62 contra 16 tok/s. Mais rápido que llama.cpp em todos os 13 modelos comparados em Q4_K_M. LLMs maiores do que a sua RAM, em C puro, para CPU ou GPU.
Um mecanismo nativo de inferência de LLM e runtime de agentes em .NET para modelos GGUF. O TensorSharp oferece um aplicativo de console, uma interface de chatbot baseada na Web, um aplicativo para iPhone e APIs HTTP compatíveis com Ollama/OpenAI para acesso programático. É compatível com Windows, macOS, iOS e Linux, com suporte completo a GPU.
Avance com sua própria inteligência: escreva aplicações em Go que integrem diretamente o llama.cpp para realizar inferência local com aceleração de hardware no Linux, macOS, Windows e WebAssembly.
Nós do ComfyUI para modelos de visão-linguagem: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Além de detecção de vocabulário aberto, segmentação SAM2/SAM3, raciocínio temporal de vídeo, GGUF via llama.cpp e APIs de LLM/VLM hospedadas.
Biblioteca Go para pesquisa vetorial incorporada e embeddings semânticos usando llama.cpp
Inferência rápida e exata para os modelos StartLux-Decision em GPUs NVIDIA: os arquivos GGUF disponibilizados são executados em tensor cores int8 e de 4 bits por meio da API /v1/systemone, com latência até 5,3 vezes menor que a do vLLM em FP8 e respostas idênticas bit a bit.
Xolotl: execute o DeepSeek-V4.1-Flash, com todos os 552B parâmetros, como um agente local de programação em um único PC gamer (RTX 4090 + 110 GB de RAM): ~33 tok/s no modo agente, ~41 no modo rápido e contexto de 512K. Além disso, Inkling-2-Mini (Thinking Machines, mecanismo próprio + gerador de rascunhos MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Especialistas MoE distribuídos em camadas entre VRAM, RAM e NVMe (Xolotl Direct). API da OpenAI + Anthropic.
Inferência local para modelos de linguagem de difusão (LLaDA, Dream), escrita em Mojo
Síntese de voz, reconhecimento de fala e detecção de atividade de voz para conversas por voz, em C++ com ggml: Qwen3-TTS, Irodori-TTS, Qwen3-ASR, ReazonSpeech, parakeet e Silero VAD em Metal, Vulkan e CPU, com um servidor compatível com OpenAI e transcrição em tempo real.
Reconhecimento de fala generativo focado em árabe — Audar-ASR-V1 (Flash + Turbo). Nº 1 no ranking Open Universal Arabic ASR. Cartões de modelo, benchmarks e inferência.
Perguntas Frequentes
Qual é o repositório de #gguf mais popular no GitHub?
O projeto de código aberto de #gguf mais bem classificado no GitHub é AlexsJones/llmfit, com 39,174 estrelas. Centenas de modelos e provedores. Um comando para encontrar o que roda no seu hardware.
Quais linguagens de programação são mais usadas nos repositórios de #gguf?
Entre os projetos de #gguf mais bem classificados no GitHub, as linguagens de programação mais comuns são Python, C++, TypeScript, Rust.
Como é calculada a classificação dos repositórios de #gguf?
Acompanhamos 49 repositórios ativos de código aberto marcados com #gguf (com mais de 500 estrelas), totalizando 165,186 estrelas e uma média de 3,371 estrelas por repositório. As classificações são atualizadas diariamente a partir da API do GitHub.