Git Stars Git Stars

#local-llm Repository

122
Totale Repository
383,928
Totale stelle
3,146
Media Stelle/Repo
51
theroyallab/tabbyAPI

Il server API ufficiale per Exllama. Compatibile OAI, leggero e veloce.

theroyallab
โญ 1,531 Python ๐Ÿ‘ค theroyallab Organization ๐Ÿ• Aggiornato 2026-11-14 ๐Ÿ“… Creato 2023-11-10
52
ARahim3/mlx-tune

Fine-tune LLMs sul tuo Mac con Apple Silicon. SFT, DPO, GRPO, Visione, TTS, STT, Embedding e fine-tuning OCR โ€” nativamente su MLX. API compatibile con Unsloth.

ARahim3
โญ 1,475 Python ๐Ÿ‘ค ARahim3 User ๐Ÿ• Aggiornato 2026-06-23 ๐Ÿ“… Creato 2026-01-03
53
jofizcd/Soul-of-Waifu

๐ŸŒŒ Dai un'anima ai tuoi personaggi preferiti. Soul of Waifu รจ un'applicazione desktop di gioco di ruolo e compagno IA con avatar Live2D/VRM, chat vocale e LLM locale. Evolvi insieme a loro attraverso chat immersive, avventure RPG e sul tuo desktop.

jofizcd
โญ 1,474 Python ๐Ÿ‘ค jofizcd User ๐Ÿ• Aggiornato 2026-08-28 ๐Ÿ“… Creato 2023-09-02
54
obsei/obsei

Analisi della voce del cliente open source e con la privacy al primo posto. Unโ€™alternativa self-hosted a Enterpret e Unwrap che rimuove i dati personali dai feedback prima che vengano elaborati da qualsiasi LLM.

obsei
โญ 1,454 Python ๐Ÿ‘ค obsei Organization ๐Ÿ• Aggiornato 2026-11-15 ๐Ÿ“… Creato 2020-10-25
55
peonist-ai/halogen-flash-server

Inferenza locale con un comportamento simile a quello di unโ€™API allโ€™avanguardia: Qwen3.8-Flash-Next su AMD Strix Halo, insieme a piccoli modelli NPU, tramite le API di OpenAI e Anthropic su unโ€™unica porta.

peonist-ai
โญ 1,412 Shell ๐Ÿ‘ค peonist-ai Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2026-08-26
56
synchopate/llama-modchip

Inferenza su CPU senza GPU per modelli MoE da 30B a 284B (Qwen3.8 176.5B certificato con cache fredda in Cgroup v2 a 28,26/48,35 GiB, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
โญ 1,398 Python ๐Ÿ‘ค synchopate User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-10-29
57
linyiLYi/voice-assistant

Una semplice demo giocattolo di un assistente vocale locale con whisper e un modello linguistico di grandi dimensioni.

linyiLYi
โญ 1,329 Python ๐Ÿ‘ค linyiLYi User ๐Ÿ• Aggiornato 2024-04-30 ๐Ÿ“… Creato 2023-12-09
58
simplexai-labs/PolyStrata

Esegui modelli di IA di grandi dimensioni sul tuo PC: Qwen3.8-Flash-Next con il motore di Strata e GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder e MiniCPM-V con un secondo motore progettato per PolyStrata. Installazione con un clic per Windows e Linux, con API OpenAI/Anthropic su localhost.

simplexai-labs
โญ 1,324 C++ ๐Ÿ‘ค simplexai-labs Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2026-10-06
59
ASCIT31/Dark-Moon

Penetration test autonomi basati su IA e open source. 50 agenti specializzati per web, API, cloud, Active Directory, Kubernetes, CI/CD e IA/LLM (OWASP LLM Top 10), con un grafo dei percorsi di attacco verificato con evidenze. Funziona su un LLM locale dietro un Privacy Gateway. Si integra con GitHub, GitLab, Jenkins, VS Code, JetBrains, n8n, Grafana e Splunk.

ASCIT31
โญ 1,279 Python ๐Ÿ‘ค ASCIT31 Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-11-26
60
wici-ai/inferssd

Esegui modelli piรน grandi della tua RAM o VRAM caricando in streaming gli esperti MoE da un SSD. Basato su llama.cpp.

wici-ai
โญ 1,277 C++ ๐Ÿ‘ค wici-ai Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-10-22
61
HelgeSverre/ollama-gui

Un'interfaccia web per chattare con i tuoi LLM locali tramite l'API di ollama

HelgeSverre
โญ 1,272 TypeScript ๐Ÿ‘ค HelgeSverre User ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2023-10-08
62
DasterProkio/awesome-ai-companion

Compagni IA open source, mascotte desktop, memoria a lungo termine e chat proattiva. Raccolta completa di progetti open source per relazioni umano-IA. Consenti alla tua IA locale di esistere indipendentemente dalle piattaforme ufficiali, dotata di memoria e proattivitร .

DasterProkio
โญ 1,248 HTML ๐Ÿ‘ค DasterProkio User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-07-03
63
0xSojalSec/LLMs-local

Elenco di piattaforme, strumenti e risorse fantastici per eseguire LLM in locale

0xSojalSec
โญ 1,206 ๐Ÿ‘ค 0xSojalSec User ๐Ÿ• Aggiornato 2026-06-10 ๐Ÿ“… Creato 2025-12-17
64
StayLameBro/backburner

Il tuo iPhone aiuta il tuo Mac a eseguire un modello da 27B: lettura piรน rapida dei prompt e piรน contesto tramite un cavo USB-C

StayLameBro
โญ 1,195 Python ๐Ÿ‘ค StayLameBro User ๐Ÿ• Aggiornato 2026-11-07 ๐Ÿ“… Creato 2026-10-01
65
mrphrazer/reverser_ai

Fornisce assistenza automatizzata per l'ingegneria inversa tramite l'uso di modelli linguistici di grandi dimensioni (LLM) locali su hardware di consumo.

mrphrazer
โญ 1,176 Python ๐Ÿ‘ค mrphrazer User ๐Ÿ• Aggiornato 2026-05-20 ๐Ÿ“… Creato 2024-03-17
66
AllAboutAI-YT/easy-local-rag

RAG 100% locale SuperFacile con Ollama + RAG via email

AllAboutAI-YT
โญ 1,175 Python ๐Ÿ‘ค AllAboutAI-YT User ๐Ÿ• Aggiornato 2024-06-04 ๐Ÿ“… Creato 2024-04-15
67
agents-io/PokeClaw

PokeClaw (PocketClaw) โ€” prima IA on-device che controlla il tuo telefono Android. Gemma 4, senza cloud, senza chiave API. Poke รจ l'abbreviazione di Pocket.

agents-io
โญ 1,165 Kotlin ๐Ÿ‘ค agents-io Organization ๐Ÿ• Aggiornato 2026-06-02 ๐Ÿ“… Creato 2026-04-06
68
hyperionaidev/smolmaxxing

Massimizzare la capacitร  di eseguire diversi LLM sui dispositivi piรน piccoli possibili

hyperionaidev
โญ 1,079 C ๐Ÿ‘ค hyperionaidev Organization ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2026-11-04
69
pguso/agents-from-scratch

Costruisci agenti IA dai principi fondamentali utilizzando un LLM locale - senza framework, senza API cloud e senza ragionamento nascosto.

pguso
โญ 1,079 Python ๐Ÿ‘ค pguso User ๐Ÿ• Aggiornato 2026-07-25 ๐Ÿ“… Creato 2025-12-22
70
mrkrsl/web-search-mcp

Un semplice server MCP di ricerca web ospitato localmente per l'uso con LLM locali

mrkrsl
โญ 1,072 TypeScript ๐Ÿ‘ค mrkrsl User ๐Ÿ• Aggiornato 2025-08-08 ๐Ÿ“… Creato 2025-06-27
71
pepperoni21/ollama-rs

Una libreria semplice e facile da usare per interagire con l'API di Ollama.

pepperoni21
โญ 1,062 Rust ๐Ÿ‘ค pepperoni21 User ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2023-11-02
72
metadist/synaplan

Gestisci il flusso: unโ€™unica piattaforma IA open source per le tue conoscenze, i tuoi modelli e i tuoi canali: web, WhatsApp, email, Outlook, Nextcloud e ownCloud. Modelli locali e cloud affiancati, con il costo di ogni risposta.

metadist
โญ 1,045 PHP ๐Ÿ‘ค metadist Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-03-30
73
PotterRemember37/Capri-AI-Desktop

Capri โ€” un agente IA per desktop ispirato a Edgerunners. Supporta Claude 3.7, Claude Code, OpenAI e Ollama/LLaMA in locale. Compagna waifu IA personalizzabile con chat vocale.

PotterRemember37
โญ 1,040 Python ๐Ÿ‘ค PotterRemember37 User ๐Ÿ• Aggiornato 2026-11-11 ๐Ÿ“… Creato 2026-08-15
74
jegly/Box

La suite di intelligenza artificiale lato client piรน avanzata e completamente offline disponibile oggi su Android.

jegly
โญ 1,035 Kotlin ๐Ÿ‘ค jegly User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-04-17
75
kennss/SiliconScope

Monitor di sistema Apple Silicon senza sudo (interfaccia grafica nativa SwiftUI) con tracciamento ANE / Media Engine / larghezza di banda della memoria

kennss
โญ 1,026 Swift ๐Ÿ‘ค kennss User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-06-08
76
wangeai/K3Flight

Esegui Kimi K3 localmente su CPU con circa 55 GB di RAM di runtime misurata. Un server di inferenza Linux a file singolo basato su cPilot Runtime.

wangeai
โญ 1,019 HTML ๐Ÿ‘ค wangeai Organization ๐Ÿ• Aggiornato 2026-07-31 ๐Ÿ“… Creato 2026-07-30
77
sgaofen/humanizer-local-model

Riscrive le bozze dellโ€™IA perchรฉ sembrino scritte da una persona: funziona in locale e mantiene i fatti

sgaofen
โญ 1,010 Python ๐Ÿ‘ค sgaofen User ๐Ÿ• Aggiornato 2026-10-19 ๐Ÿ“… Creato 2026-09-11
78
OleksandrChekhovskyi/hax

Un agente di programmazione minimalista e nativo del terminale, scritto in C.

OleksandrChekhovskyi
โญ 1,006 C ๐Ÿ‘ค OleksandrChekhovskyi User ๐Ÿ• Aggiornato 2026-11-13 ๐Ÿ“… Creato 2026-04-24
79
patruff/ollama-mcp-bridge

Ponte tra server Ollama e MCP, che consente agli LLM locali di utilizzare gli strumenti del Model Context Protocol

patruff
โญ 973 TypeScript ๐Ÿ‘ค patruff User ๐Ÿ• Aggiornato 2025-04-20 ๐Ÿ“… Creato 2024-12-12
80
feder-cr/jev

jevos: un'alternativa open source a Jev e Microsoft-Decision-1. Decisioni sรฌ/no, scelte e punteggi con probabilitร , eseguiti sulla CPU del tuo laptop.

feder-cr
โญ 970 C++ ๐Ÿ‘ค feder-cr User ๐Ÿ• Aggiornato 2026-10-18 ๐Ÿ“… Creato 2024-08-15
81
kossakovsky/selfhost-ai

Installatore con un solo comando per uno stack di IA self-hosted sul tuo server: n8n, Ollama, Open WebUI, OpenClaw, Dify, Flowise, Supabase, ComfyUI, Qdrant e oltre 30 strumenti. Docker Compose, HTTPS automatico tramite Caddy e monitoraggio integrato. Alternativa gratuita a Zapier/Make.

kossakovsky
โญ 964 Shell ๐Ÿ‘ค kossakovsky User ๐Ÿ• Aggiornato 2026-10-27 ๐Ÿ“… Creato 2025-05-05
82
orneryd/NornicDB

Nornicdb รจ un database distribuito a bassa latenza, Graph+Vector e MVCC temporale, con ricerca HNSW, attraversamento di grafi e scritture in meno di un millisecondo. Utilizzando Neo4j Bolt/Cypher e gRPC di qdrant, รจ possibile effettuare il passaggio senza modifiche, aggiungendo al contempo funzionalitร  intelligenti come schemi, embedding gestiti, reranking+LLM, accelerazione GPU, Auto-TLP, decadimento della memoria basato su policy e server MCP.

orneryd
โญ 933 Go ๐Ÿ‘ค orneryd User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2025-12-06
83
mrdbourke/simple-local-rag

Costruisci una pipeline RAG (Retrieval Augmented Generation) da zero e falla funzionare interamente in locale.

mrdbourke
โญ 923 Jupyter Notebook ๐Ÿ‘ค mrdbourke User ๐Ÿ• Aggiornato 2024-05-25 ๐Ÿ“… Creato 2024-03-13
84
hehehai/VoxtMini

Input vocale per macOS con modelli locali: trascrivi, traduci e riscrivi in qualsiasi app. Il successore di Voxt.

hehehai
โญ 916 Go ๐Ÿ‘ค hehehai User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-02-26
85
genex-games/genex-desktop

App desktop open source per lo sviluppo di videogiochi nativo dellโ€™IA. Crea con Unreal Engine, Unity, Godot, Roblox o Three.js usando qualsiasi IA, inclusi i modelli locali.

genex-games
โญ 901 TypeScript ๐Ÿ‘ค genex-games Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-10-02
86
bernardo-bruning/ollama-copilot

Proxy che ti consente di utilizzare ollama come un copilota simile a Github Copilot

bernardo-bruning
โญ 887 Go ๐Ÿ‘ค bernardo-bruning User ๐Ÿ• Aggiornato 2026-09-14 ๐Ÿ“… Creato 2024-04-25
87
Pangu-Immortal/MagicWX

Prototipo di LLM locale per Android 17 con Jetpack Compose e ONNX Runtime per esperimenti di inferenza AI offline.

Pangu-Immortal
โญ 864 Kotlin ๐Ÿ‘ค Pangu-Immortal User ๐Ÿ• Aggiornato 2026-11-09 ๐Ÿ“… Creato 2019-05-08
88
gavamedia/deltafin

Esegui Kimi K3 completo su un singolo dispositivo. E un server API compatibile con OpenAI per agenti di chat e programmazione locali.

gavamedia
โญ 862 Rust ๐Ÿ‘ค gavamedia Organization ๐Ÿ• Aggiornato 2026-10-04 ๐Ÿ“… Creato 2026-07-28
89
kytmanov/obsidian-llm-wiki-local

Wiki LLM di Karpathy, 100% locale con Ollama. Inserisci note Markdown โ†’ AI estrae concetti โ†’ la tua wiki Obsidian si auto-collega e cresce. Zero condivisione. Le tue note restano tue.

kytmanov
โญ 855 Python ๐Ÿ‘ค kytmanov User ๐Ÿ• Aggiornato 2026-05-26 ๐Ÿ“… Creato 2026-04-07
90
nace-ai/kapitsa

Motore di inferenza velocissimo per Apple Silicon, ottimizzato per Qwen e Nemotron. Compatibile con le API di OpenAI e Anthropic. Realizzato dal team di nace.ai

nace-ai
โญ 840 C++ ๐Ÿ‘ค nace-ai Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-10-16
91
jonigl/mcp-client-for-ollama

Sfrutta la potenza dei LLM locali con questo client TUI MCP per Ollama. Caratterizzato da tutti i primitivi MCP principali (strumenti, prompt, risorse), modalitร  agente, multi-server, cambio modello, risposte in streaming, human-in-the-loop, modalitร  pensiero, configurazione parametri modello, prompt di sistema e preferenze salvate.

jonigl
โญ 837 Python ๐Ÿ‘ค jonigl User ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2025-04-23
92
nkasmanoff/pi-card

Assistente Vocale Raspberry Pi

nkasmanoff
โญ 808 Python ๐Ÿ‘ค nkasmanoff User ๐Ÿ• Aggiornato 2024-12-22 ๐Ÿ“… Creato 2024-05-04
93
tetherto/qvac

SDK AI locale open source: esegui lโ€™AI sul dispositivo senza cloud nรฉ chiavi API. Supporta GGUF, RAG, la generazione di immagini, musica e video, la conversione da voce a testo, lโ€™inferenza P2P e altro ancora. Multipiattaforma: Linux, macOS, Windows, Android e iOS.

tetherto
โญ 806 TypeScript ๐Ÿ‘ค tetherto Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2026-01-03
94
karthik-codex/Autogen_GraphRAG_Ollama

Microsoft GraphRAG + AutoGen + Ollama + Chainlit = Superbot RAG Multi-Agente Completamente Locale e Gratuito

karthik-codex
โญ 761 Python ๐Ÿ‘ค karthik-codex User ๐Ÿ• Aggiornato 2024-07-20 ๐Ÿ“… Creato 2024-07-07
95
ILikeAI/AlwaysReddy

AlwaysReddy รจ un assistente vocale LLM che รจ sempre a portata di tasto di scelta rapida.

ILikeAI
โญ 760 Python ๐Ÿ‘ค ILikeAI User ๐Ÿ• Aggiornato 2025-03-04 ๐Ÿ“… Creato 2024-01-24
96
jart/emacs-copilot

Completamento del codice con modelli linguistici di grandi dimensioni per Emacs

jart
โญ 758 Emacs Lisp ๐Ÿ‘ค jart User ๐Ÿ• Aggiornato 2024-01-07 ๐Ÿ“… Creato 2023-12-31
97
ARahim3/mlx-dspark

Decodifica LLM fino a 4ร— piรน veloce su Apple Silicon, senza perdita. Port nativo per MLX della decodifica speculativa DSpark di DeepSeek e DFlash di z-lab โ€” Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 e Bonsai-27B ternario.

ARahim3
โญ 743 Python ๐Ÿ‘ค ARahim3 User ๐Ÿ• Aggiornato 2026-11-08 ๐Ÿ“… Creato 2026-06-29
98
notatestuser/ds4-control

App per la barra dei menu di macOS per usare rapidamente DeepSeek V4.1 in locale, con un contesto da 1 milione di token.

notatestuser
โญ 740 Swift ๐Ÿ‘ค notatestuser User ๐Ÿ• Aggiornato 2026-10-26 ๐Ÿ“… Creato 2026-05-29
99
prabanta-dev/janas

37 tok/s con Qwen3-Next-80B (48 GB) su un laptop da 32 GB; 24 senza draft contro 2,8 con llama.cpp; lettura a 62 contro 16 tok/s. Piรน veloce di llama.cpp in tutti i 13 modelli confrontati in Q4_K_M. LLM piรน grandi della tua RAM, in puro C, per CPU o GPU.

prabanta-dev
โญ 738 C ๐Ÿ‘ค prabanta-dev Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2026-09-20
100
andersrex/notesollama

Usa Ollama per parlare con LLM locali in Note di Apple

andersrex
โญ 711 Swift ๐Ÿ‘ค andersrex User ๐Ÿ• Aggiornato 2025-08-04 ๐Ÿ“… Creato 2024-02-19