#local-llm Repository
122 repository in totale
Fine-tune LLMs sul tuo Mac con Apple Silicon. SFT, DPO, GRPO, Visione, TTS, STT, Embedding e fine-tuning OCR โ nativamente su MLX. API compatibile con Unsloth.
๐ Dai un'anima ai tuoi personaggi preferiti. Soul of Waifu รจ un'applicazione desktop di gioco di ruolo e compagno IA con avatar Live2D/VRM, chat vocale e LLM locale. Evolvi insieme a loro attraverso chat immersive, avventure RPG e sul tuo desktop.
Analisi della voce del cliente open source e con la privacy al primo posto. Unโalternativa self-hosted a Enterpret e Unwrap che rimuove i dati personali dai feedback prima che vengano elaborati da qualsiasi LLM.
Inferenza locale con un comportamento simile a quello di unโAPI allโavanguardia: Qwen3.8-Flash-Next su AMD Strix Halo, insieme a piccoli modelli NPU, tramite le API di OpenAI e Anthropic su unโunica porta.
Inferenza su CPU senza GPU per modelli MoE da 30B a 284B (Qwen3.8 176.5B certificato con cache fredda in Cgroup v2 a 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Una semplice demo giocattolo di un assistente vocale locale con whisper e un modello linguistico di grandi dimensioni.
Esegui modelli di IA di grandi dimensioni sul tuo PC: Qwen3.8-Flash-Next con il motore di Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V con un secondo motore progettato per PolyStrata. Installazione con un clic per Windows e Linux, con API OpenAI/Anthropic su localhost.
Penetration test autonomi basati su IA e open source. 50 agenti specializzati per web, API, cloud, Active Directory, Kubernetes, CI/CD e IA/LLM (OWASP LLM Top 10), con un grafo dei percorsi di attacco verificato con evidenze. Funziona su un LLM locale dietro un Privacy Gateway. Si integra con GitHub, GitLab, Jenkins, VS Code, JetBrains, n8n, Grafana e Splunk.
Esegui modelli piรน grandi della tua RAM o VRAM caricando in streaming gli esperti MoE da un SSD. Basato su llama.cpp.
Un'interfaccia web per chattare con i tuoi LLM locali tramite l'API di ollama
Compagni IA open source, mascotte desktop, memoria a lungo termine e chat proattiva. Raccolta completa di progetti open source per relazioni umano-IA. Consenti alla tua IA locale di esistere indipendentemente dalle piattaforme ufficiali, dotata di memoria e proattivitร .
Elenco di piattaforme, strumenti e risorse fantastici per eseguire LLM in locale
Il tuo iPhone aiuta il tuo Mac a eseguire un modello da 27B: lettura piรน rapida dei prompt e piรน contesto tramite un cavo USB-C
Fornisce assistenza automatizzata per l'ingegneria inversa tramite l'uso di modelli linguistici di grandi dimensioni (LLM) locali su hardware di consumo.
PokeClaw (PocketClaw) โ prima IA on-device che controlla il tuo telefono Android. Gemma 4, senza cloud, senza chiave API. Poke รจ l'abbreviazione di Pocket.
Massimizzare la capacitร di eseguire diversi LLM sui dispositivi piรน piccoli possibili
Costruisci agenti IA dai principi fondamentali utilizzando un LLM locale - senza framework, senza API cloud e senza ragionamento nascosto.
Un semplice server MCP di ricerca web ospitato localmente per l'uso con LLM locali
Una libreria semplice e facile da usare per interagire con l'API di Ollama.
Gestisci il flusso: unโunica piattaforma IA open source per le tue conoscenze, i tuoi modelli e i tuoi canali: web, WhatsApp, email, Outlook, Nextcloud e ownCloud. Modelli locali e cloud affiancati, con il costo di ogni risposta.
Capri โ un agente IA per desktop ispirato a Edgerunners. Supporta Claude 3.7, Claude Code, OpenAI e Ollama/LLaMA in locale. Compagna waifu IA personalizzabile con chat vocale.
La suite di intelligenza artificiale lato client piรน avanzata e completamente offline disponibile oggi su Android.
Monitor di sistema Apple Silicon senza sudo (interfaccia grafica nativa SwiftUI) con tracciamento ANE / Media Engine / larghezza di banda della memoria
Esegui Kimi K3 localmente su CPU con circa 55 GB di RAM di runtime misurata. Un server di inferenza Linux a file singolo basato su cPilot Runtime.
Riscrive le bozze dellโIA perchรฉ sembrino scritte da una persona: funziona in locale e mantiene i fatti
Un agente di programmazione minimalista e nativo del terminale, scritto in C.
Ponte tra server Ollama e MCP, che consente agli LLM locali di utilizzare gli strumenti del Model Context Protocol
jevos: un'alternativa open source a Jev e Microsoft-Decision-1. Decisioni sรฌ/no, scelte e punteggi con probabilitร , eseguiti sulla CPU del tuo laptop.
Installatore con un solo comando per uno stack di IA self-hosted sul tuo server: n8n, Ollama, Open WebUI, OpenClaw, Dify, Flowise, Supabase, ComfyUI, Qdrant e oltre 30 strumenti. Docker Compose, HTTPS automatico tramite Caddy e monitoraggio integrato. Alternativa gratuita a Zapier/Make.
Nornicdb รจ un database distribuito a bassa latenza, Graph+Vector e MVCC temporale, con ricerca HNSW, attraversamento di grafi e scritture in meno di un millisecondo. Utilizzando Neo4j Bolt/Cypher e gRPC di qdrant, รจ possibile effettuare il passaggio senza modifiche, aggiungendo al contempo funzionalitร intelligenti come schemi, embedding gestiti, reranking+LLM, accelerazione GPU, Auto-TLP, decadimento della memoria basato su policy e server MCP.
Costruisci una pipeline RAG (Retrieval Augmented Generation) da zero e falla funzionare interamente in locale.
Input vocale per macOS con modelli locali: trascrivi, traduci e riscrivi in qualsiasi app. Il successore di Voxt.
App desktop open source per lo sviluppo di videogiochi nativo dellโIA. Crea con Unreal Engine, Unity, Godot, Roblox o Three.js usando qualsiasi IA, inclusi i modelli locali.
Proxy che ti consente di utilizzare ollama come un copilota simile a Github Copilot
Prototipo di LLM locale per Android 17 con Jetpack Compose e ONNX Runtime per esperimenti di inferenza AI offline.
Esegui Kimi K3 completo su un singolo dispositivo. E un server API compatibile con OpenAI per agenti di chat e programmazione locali.
Wiki LLM di Karpathy, 100% locale con Ollama. Inserisci note Markdown โ AI estrae concetti โ la tua wiki Obsidian si auto-collega e cresce. Zero condivisione. Le tue note restano tue.
Motore di inferenza velocissimo per Apple Silicon, ottimizzato per Qwen e Nemotron. Compatibile con le API di OpenAI e Anthropic. Realizzato dal team di nace.ai
Sfrutta la potenza dei LLM locali con questo client TUI MCP per Ollama. Caratterizzato da tutti i primitivi MCP principali (strumenti, prompt, risorse), modalitร agente, multi-server, cambio modello, risposte in streaming, human-in-the-loop, modalitร pensiero, configurazione parametri modello, prompt di sistema e preferenze salvate.
SDK AI locale open source: esegui lโAI sul dispositivo senza cloud nรฉ chiavi API. Supporta GGUF, RAG, la generazione di immagini, musica e video, la conversione da voce a testo, lโinferenza P2P e altro ancora. Multipiattaforma: Linux, macOS, Windows, Android e iOS.
Microsoft GraphRAG + AutoGen + Ollama + Chainlit = Superbot RAG Multi-Agente Completamente Locale e Gratuito
AlwaysReddy รจ un assistente vocale LLM che รจ sempre a portata di tasto di scelta rapida.
Completamento del codice con modelli linguistici di grandi dimensioni per Emacs
Decodifica LLM fino a 4ร piรน veloce su Apple Silicon, senza perdita. Port nativo per MLX della decodifica speculativa DSpark di DeepSeek e DFlash di z-lab โ Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternario.
App per la barra dei menu di macOS per usare rapidamente DeepSeek V4.1 in locale, con un contesto da 1 milione di token.
37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Piรน veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM piรน grandi della tua RAM, in puro C, per CPU o GPU.