#gguf Repository
Scopri 49 repository GitHub open source attivi contrassegnati con #gguf, che raccolgono un totale di 165,186 stelle (con una media di 3,371 stelle per progetto). Il progetto leader di questo argomento è AlexsJones/llmfit, con 39,174 stelle.
50 repository in totale
Centinaia di modelli e provider. Un solo comando per trovare ciò che funziona sul tuo hardware.
Affina i LLM da un singolo YAML. Lo streaming a livelli addestra un modello da 8B su una GPU per laptop da 4 GB.
Questo è un semplice progetto di tutorial tecnico科普, focalizzato principalmente sulla spiegazione di concetti e principi tecnologici interessanti e all'avanguardia. Ogni articolo si sforza di essere completato in 5 minuti di lettura.
🛡️ BLA (bla-agents / Blind LLM Agents) — server MCP e CLI open source di difesa Blue che protegge JS/TS, Electron ASAR, WASM, Python, binari nativi, SQLite, GGUF/Safetensors e Android DEX dagli agenti di reverse engineering basati sull’IA (REA).
⚡ Motore di inferenza WebGPU in Rust puro — Compatibile con le API OpenAI, nativo GGUF, funziona su qualsiasi GPU. Niente Python. Niente llama.cpp. Singolo binario.
Atomic Agent è un agente di IA local-first. Esegue modelli open-weight sul tuo computer tramite llama.cpp.
Il coltellino svizzero dell'IA offline. Chatta, guarda, parla e genera immagini sul tuo telefono o Mac: LLM GGUF, visione, sintesi vocale Whisper, Stable Diffusion, chiamate a strumenti e server di rete locale. Funziona sulla tua CPU, GPU o NPU. Nessun account, nessuna chiave API, nessun dato lascia il tuo dispositivo.
Esegui GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) e Hy4-Flash (220B) sulle tue GPU — a partire da 8 GB di VRAM, con supporto per NVIDIA e AMD, un’unica dashboard e un’API compatibile con OpenAI e Anthropic.
Maid è un’applicazione gratuita e open source per interfacciarsi con i modelli llama.cpp localmente e con i modelli Anthropic, DeepSeek, Ollama, Mistral e OpenAI in remoto.
Impara Ollama attivamente, implementazione di grandi modelli con CPU, indirizzo di lettura online: https://datawhalechina.github.io/handy-ollama/
Server nativo per l’inferenza di LLM su Apple Silicon. Compatibile con le API di OpenAI e Anthropic. Senza Python. App macOS con backend in Zig e frontend in Swift, per la generazione di chat, musica, voce e video.
Il framework dell'agente LLM in ComfyUI include i nodi MCP server, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 e FLUX prompt, accesso a Feishu, discord e si adatta a tutti gli LLM con interfacce simili a openai / aisuite, come o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Adattato a LLM locali, VLM, gguf come llama-3.3 Janus-Pro, Linkage GraphRAG
Esegui modelli AI localmente sulla tua macchina con binding Node.js per llama.cpp. Applica uno schema JSON all'output del modello a livello di generazione.
App AI locale e motore di inferenza per agenti. Esegui LLM a pesi aperti localmente: privato, 100% offline sul tuo computer. Unisciti al nostro Discord: https://discord.com/invite/8wGSsvmg4V
Modelli decisionali aperti da 0,8B a 27B: una probabilità calibrata per ogni opzione in un solo passaggio e un breve ragionamento solo in caso di incertezza. Motore per vLLM, llama.cpp e MLX.
Efficienza della quantizzazione post-training, accuratezza della quantizzazione con addestramento consapevole
NobodyWho è un motore di inferenza che ti consente di eseguire LLM localmente ed efficientemente su qualsiasi dispositivo.
Il modo più semplice e veloce per eseguire LLM personalizzati e ottimizzati localmente o sull'edge
Modelli di riconoscimento vocale Fun-ASR, con supporto nativo per Hugging Face Transformers per Fun-ASR-Nano e percorsi di distribuzione separati per FunASR, vLLM e llama.cpp.
Uno strumento DevOps open source del CNCF per il packaging e il versioning di modelli AI/ML, dataset, codice e configurazioni in un artefatto OCI.
Inferenza su CPU senza GPU per modelli MoE da 30B a 284B (Qwen3.8 176.5B certificato con cache fredda in Cgroup v2 a 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Traduttore di schermo in tempo reale per Android, open source e senza root, adatto a giochi, visual novel e manga. Supporta OCR su dispositivo e cloud, LLM offline, più servizi di traduzione, traduzioni su schermo e sintesi vocale (TTS).
Esegui modelli di IA di grandi dimensioni sul tuo PC: Qwen3.8-Flash-Next con il motore di Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V con un secondo motore progettato per PolyStrata. Installazione con un clic per Windows e Linux, con API OpenAI/Anthropic su localhost.
Esegui modelli più grandi della tua RAM o VRAM caricando in streaming gli esperti MoE da un SSD. Basato su llama.cpp.
Esegui modelli MoE più grandi della tua RAM. MoE di frontiera su smartphone, laptop o dispositivo edge. Senza perdita, con llama.cpp standard. Un ottimizzatore adattivo in streaming. Qualsiasi hardware, sistema operativo, modello e quantizzazione, tramite un server locale compatibile con OpenAI.
La suite di intelligenza artificiale lato client più avanzata e completamente offline disponibile oggi su Android.
Riscrive le bozze dell’IA perché sembrino scritte da una persona: funziona in locale e mantiene i fatti
jevos: un'alternativa open source a Jev e Microsoft-Decision-1. Decisioni sì/no, scelte e punteggi con probabilità, eseguiti sulla CPU del tuo laptop.
Un CLI per stimare i requisiti di memoria di inferenza per i modelli Hugging Face, scritto in Python.
Modelli aperti di decisione multimodale, da 0,8B a 27B, per testo, immagini e video. Decidi assegnando probabilità ai tuoi candidati e individua gli elementi con riquadri di delimitazione, invece di generare testo. API gratuita, ONNX, GGUF, vLLM e SGLang; codice per il fine-tuning incluso.
LLM.swift è una libreria semplice e leggibile che consente di interagire facilmente con modelli linguistici di grandi dimensioni in locale per macOS, iOS, watchOS, tvOS e visionOS.
37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Più veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM più grandi della tua RAM, in puro C, per CPU o GPU.
Un motore nativo di inferenza per modelli linguistici di grandi dimensioni (LLM) .NET e un runtime per agenti per modelli GGUF. TensorSharp offre un’applicazione da console, un’interfaccia chatbot basata sul Web, un’app per iPhone e API HTTP compatibili con Ollama/OpenAI per l’accesso programmatico. Supporta Windows, macOS, iOS e Linux con pieno supporto GPU.
Vai avanti con la tua intelligenza: scrivi applicazioni Go che integrano direttamente llama.cpp per eseguire inferenza locale con accelerazione hardware su Linux, macOS, Windows e WebAssembly.
Nodi ComfyUI per modelli vision-language: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Include inoltre rilevamento a vocabolario aperto, segmentazione SAM2/SAM3, ragionamento temporale video, GGUF tramite llama.cpp e API LLM/VLM ospitate.
Libreria Go per la ricerca vettoriale integrata e gli embedding semantici tramite llama.cpp
Inferenza rapida e precisa per i modelli StartLux-Decision su GPU NVIDIA: i file GGUF rilasciati vengono eseguiti su tensor core int8 e a 4 bit tramite l’API /v1/systemone, con una latenza fino a 5,3 volte inferiore rispetto a vLLM in FP8 e risposte identiche bit per bit.
Xolotl: esegui DeepSeek-V4.1-Flash, con tutti i 552B parametri, come agente di programmazione locale su un singolo PC da gaming (RTX 4090 + 110 GB di RAM): ~33 tok/s come agente, ~41 in modalità veloce, contesto da 512K. Inoltre, Inkling-2-Mini (Thinking Machines, motore proprietario + generatore di bozze MTP), GLM-5.3-Flash, Qwen3.8 e LFM3-Omni. Esperti MoE organizzati a livelli tra VRAM, RAM e NVMe (Xolotl Direct). API OpenAI + Anthropic.
Inferenza locale per modelli linguistici a diffusione (LLaDA, Dream), scritta in Mojo
Sintesi vocale, riconoscimento vocale e rilevamento dell’attività vocale per conversazioni vocali, in C++ su ggml: Qwen3-TTS, Irodori-TTS, Qwen3-ASR, ReazonSpeech, parakeet e Silero VAD su Metal, Vulkan e CPU, con un server compatibile con OpenAI e trascrizione in tempo reale.
Riconoscimento vocale generativo incentrato sull'arabo — Audar-ASR-V1 (Flash + Turbo). N. 1 nella classifica Open Universal Arabic ASR. Schede modello, benchmark e inferenza.
Domande frequenti
Qual è il repository #gguf più popolare su GitHub?
Il progetto open source #gguf più alto in classifica su GitHub è AlexsJones/llmfit, con 39,174 stelle. Centinaia di modelli e provider. Un solo comando per trovare ciò che funziona sul tuo hardware.
Quali linguaggi di programmazione sono più utilizzati nei repository #gguf?
Tra i progetti #gguf più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, C++, TypeScript, Rust.
Come viene calcolata la classifica dei repository #gguf?
Monitoriamo 49 repository open source attivi contrassegnati con #gguf (500+ stelle), per un totale di 165,186 stelle e una media di 3,371 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.