#llama-cpp Repository
69 repository in totale
llama.cpp su una PS5 con jailbreak: esegui qualsiasi modello GGUF in modo nativo sulla console, a partire da Qwen 3.8
Motore di inferenza velocissimo per Apple Silicon, ottimizzato per Qwen e Nemotron. Compatibile con le API di OpenAI e Anthropic. Realizzato dal team di nace.ai
Orion-14B è una famiglia di modelli che include un LLM di base da 14B e una serie di modelli: un modello di chat, un modello a contesto lungo, un modello quantizzato, un modello fine-tuned RAG e un modello fine-tuned Agent. La serie di modelli Orion-14B include un modello LLM di base multilingue da 14 miliardi di parametri e una serie di modelli derivati correlati, tra cui modelli di dialogo, modelli di testo lungo, modelli quantizzati, modelli fine-tuned RAG, modelli fine-tuned Agent, ecc.
Esegui qualsiasi agente su qualsiasi modello; i modelli sono archiviati come immagini OCI
Nodi ComfyUI per modelli vision-language: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Include inoltre rilevamento a vocabolario aperto, segmentazione SAM2/SAM3, ragionamento temporale video, GGUF tramite llama.cpp e API LLM/VLM ospitate.
Un plugin assistente di codifica intelligente per Visual Studio Code, sviluppato sulla base di CodeShell
Client di chat IA open source multimodello con chiave personale (BYOK), per iOS, Android e il Web. Un unico client LLM per OpenAI, Anthropic, Google Gemini, OpenRouter, DeepSeek e altri dieci fornitori, oltre a qualsiasi endpoint compatibile con OpenAI, Anthropic o Gemini — Ollama, LM Studio, llama.cpp, vLLM. Incentrato sull’uso locale, installabile autonomamente e senza account. AGPL-3.0.
sparkrun: avvia, gestisci e arresta i carichi di lavoro di inferenza LLM sui sistemi NVIDIA DGX Spark. Supporto in tempo reale: https://discord.com/invite/GH5kRgv6ZD
Un modo più semplice per usare l’IA sul tuo computer. Un’alternativa gratuita e open source a Claude e ChatGPT, che esegue localmente modelli con pesi aperti come Gemma e gpt-oss su Mac, Windows e Linux. Privata e utilizzabile offline.
GraphRAG-rs è un'implementazione Rust ad alte prestazioni e all'avanguardia di GraphRAG (Generazione Aumentata da Recupero Basata su Grafi) che costruisce grafi di conoscenza dai documenti e consente interrogazioni in linguaggio naturale con estrazione di entità configurabile e integrazione locale di LLM
Postazione creativa AI full-stack con priorità al locale: cinque moduli — chat AI, fumetti AI, creazione di drammi a fumetti, spazio di scrittura e apprendimento delle conoscenze —; inferenza locale con più motori (vLLM / llama.cpp / Transformers), gestione intelligente della VRAM, isolamento a compartimenti e autoriparazione. Solo a scopo didattico; commenti e confronti sono benvenuti. (A causa di restrizioni del protocollo, al momento non è possibile inviare al repository gli ultimi progressi, ad eccezione del sistema di plugin.)
Un motore di inferenza interamente basato su Rust per LLM, VLM, VLA, TTS e OCR, basato su Candle e Rust. Un’alternativa a llama.cpp, molto più semplice e pulita.
Gomoon, uno strumento di produttività desktop basato su modelli di grandi dimensioni
Riconoscimento vocale generativo incentrato sull'arabo — Audar-ASR-V1 (Flash + Turbo). N. 1 nella classifica Open Universal Arabic ASR. Schede modello, benchmark e inferenza.