Git Stars Git Stars

#local-llm Repositories

122
Gesamtzahl der Repositories
383,928
Gesamtanzahl der Sterne
3,146
Durchschnittliche Sterne/Repo

Insgesamt 122 Repositories

51
theroyallab/tabbyAPI

Der offizielle API-Server für Exllama. OAI-kompatibel, leichtgewichtig und schnell.

theroyallab
⭐ 1,531 Python 👤 theroyallab Organization 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2023-11-10
52
ARahim3/mlx-tune

LLMs auf deinem Mac mit Apple Silicon fine-tunen. SFT, DPO, GRPO, Vision, TTS, STT, Embedding und OCR-Fine-Tuning — nativ auf MLX. Unsloth-kompatible API.

ARahim3
⭐ 1,475 Python 👤 ARahim3 User 🕐 Aktualisiert 2026-06-23 📅 Erstellt 2026-01-03
53
jofizcd/Soul-of-Waifu

🌌 Verleihe deinen Lieblingscharakteren eine Seele. Soul of Waifu ist eine Desktop-App für Rollenspiele und KI-Begleiter mit Live2D/VRM-Avataren, Voice-Chat und lokalem LLM. Entwickelt euch gemeinsam durch immersive Chats, RPG-Abenteuer und direkt auf eurem Desktop.

jofizcd
⭐ 1,474 Python 👤 jofizcd User 🕐 Aktualisiert 2026-08-28 📅 Erstellt 2023-09-02
54
obsei/obsei

Open-Source-Analyse der Kundenstimme mit Datenschutz an erster Stelle. Eine selbst gehostete Alternative zu Enterpret und Unwrap, die personenbezogene Daten aus Feedback entfernt, bevor ein LLM es verarbeitet.

obsei
⭐ 1,454 Python 👤 obsei Organization 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2020-10-25
55
peonist-ai/halogen-flash-server

Lokale Inferenz mit dem Verhalten einer hochmodernen API: Qwen3.8-Flash-Next auf AMD Strix Halo sowie kleine NPU-Modelle – über die OpenAI- und Anthropic-APIs auf einem einzigen Port.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-08-26
56
synchopate/llama-modchip

GPU-freie CPU-Inferenz für 30B–284B-MoE-Modelle (Qwen3.8 176.5B mit kaltem Cache in Cgroup v2 bei 28,26/48,35 GiB zertifiziert, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-29
57
linyiLYi/voice-assistant

Ein einfaches Demo-Spielzeug eines lokalen Sprachassistenten mit Whisper und einem großen Sprachmodell.

linyiLYi
⭐ 1,329 Python 👤 linyiLYi User 🕐 Aktualisiert 2024-04-30 📅 Erstellt 2023-12-09
58
simplexai-labs/PolyStrata

Führen Sie große KI-Modelle auf Ihrem eigenen PC aus: Qwen3.8-Flash-Next mit der Engine von Strata sowie GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder und MiniCPM-V mit einer zweiten Engine, die für PolyStrata entwickelt wurde. Ein-Klick-Installation für Windows und Linux, mit OpenAI-/Anthropic-API auf localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-10-06
59
ASCIT31/Dark-Moon

Open-Source- und autonome KI-Penetrationstests. 50 spezialisierte Agenten für Web, APIs, Cloud, Active Directory, Kubernetes, CI/CD und KI/LLM (OWASP LLM Top 10) – mit einem evidenzgeprüften Angriffspfad-Graphen. Läuft mit einem lokalen LLM hinter einem Privacy Gateway. Integriert sich in GitHub, GitLab, Jenkins, VS Code, JetBrains, n8n, Grafana und Splunk.

ASCIT31
⭐ 1,279 Python 👤 ASCIT31 Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-11-26
60
wici-ai/inferssd

Führe Modelle aus, die größer sind als dein RAM oder VRAM, indem du MoE-Experten von einer SSD streamst. Basiert auf llama.cpp.

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-10-22
61
HelgeSverre/ollama-gui

Eine Weboberfläche zum Chatten mit Ihren lokalen LLMs über die ollama API

HelgeSverre
⭐ 1,272 TypeScript 👤 HelgeSverre User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2023-10-08
62
DasterProkio/awesome-ai-companion

Open-Source-KI-Gefährten, Desktop-Haustiere, Langzeitgedächtnis und proaktiver Chat. Umfassende Sammlung von Open-Source-Projekten für Mensch-KI-Beziehungen. Ermöglichen Sie Ihrer lokalen KI, unabhängig von offiziellen Plattformen zu existieren – ausgestattet mit Gedächtnis und Eigeninitiative.

DasterProkio
⭐ 1,248 HTML 👤 DasterProkio User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-07-03
63
0xSojalSec/LLMs-local

Liste großartiger Plattformen, Tools und Ressourcen zum lokalen Betrieb von LLMs

0xSojalSec
⭐ 1,206 👤 0xSojalSec User 🕐 Aktualisiert 2026-06-10 📅 Erstellt 2025-12-17
64
StayLameBro/backburner

Dein iPhone unterstützt deinen Mac beim Ausführen eines 27B-Modells: schnelleres Einlesen von Prompts und mehr Kontext über ein USB-C-Kabel

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2026-10-01
65
mrphrazer/reverser_ai

Bietet automatisierte Reverse-Engineering-Unterstützung durch die Verwendung lokaler großer Sprachmodelle (LLMs) auf Consumer-Hardware.

mrphrazer
⭐ 1,176 Python 👤 mrphrazer User 🕐 Aktualisiert 2026-05-20 📅 Erstellt 2024-03-17
66
AllAboutAI-YT/easy-local-rag

SuperEasy 100% lokales RAG mit Ollama + E-Mail RAG

AllAboutAI-YT
⭐ 1,175 Python 👤 AllAboutAI-YT User 🕐 Aktualisiert 2024-06-04 📅 Erstellt 2024-04-15
67
agents-io/PokeClaw

PokeClaw (PocketClaw) — erstes On-Device-KI, das dein Android-Phone steuert. Gemma 4, kein Cloud, kein API-Schlüssel. Poke ist die Kurzform für Pocket.

agents-io
⭐ 1,165 Kotlin 👤 agents-io Organization 🕐 Aktualisiert 2026-06-02 📅 Erstellt 2026-04-06
68
hyperionaidev/smolmaxxing

Die Fähigkeit maximieren, verschiedene LLMs auf möglichst kleinen Geräten auszuführen

hyperionaidev
⭐ 1,079 C 👤 hyperionaidev Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-11-04
69
pguso/agents-from-scratch

Bauen Sie KI-Agenten von Grund auf mit einem lokalen LLM – ohne Frameworks, ohne Cloud‑APIs und ohne verstecktes Denken.

pguso
⭐ 1,079 Python 👤 pguso User 🕐 Aktualisiert 2026-07-25 📅 Erstellt 2025-12-22
70
mrkrsl/web-search-mcp

Ein einfacher, lokal gehosteter Web-Suche-MCP-Server zur Verwendung mit lokalen LLMs

mrkrsl
⭐ 1,072 TypeScript 👤 mrkrsl User 🕐 Aktualisiert 2025-08-08 📅 Erstellt 2025-06-27
71
pepperoni21/ollama-rs

Eine einfache und benutzerfreundliche Bibliothek für die Interaktion mit der Ollama API.

pepperoni21
⭐ 1,062 Rust 👤 pepperoni21 User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2023-11-02
72
metadist/synaplan

Behalte den Workflow in der Hand: eine Open-Source-KI-Plattform für dein Wissen, deine Modelle und Kanäle – Web, WhatsApp, E-Mail, Outlook, Nextcloud und ownCloud. Lokale und Cloud-Modelle nebeneinander, mit den Kosten für jede Antwort.

metadist
⭐ 1,045 PHP 👤 metadist Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-03-30
73
PotterRemember37/Capri-AI-Desktop

Capri — ein von Edgerunners inspirierter KI-Agent für deinen Desktop. Unterstützt Claude 3.7, Claude Code, OpenAI und lokales Ollama/LLaMA. Anpassbare KI-Waifu-Begleiterin mit Sprachchat.

PotterRemember37
⭐ 1,040 Python 👤 PotterRemember37 User 🕐 Aktualisiert 2026-11-11 📅 Erstellt 2026-08-15
74
jegly/Box

Die derzeit fortschrittlichste, vollständig offline arbeitende Client-seitige KI-Suite für Android.

jegly
⭐ 1,035 Kotlin 👤 jegly User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-17
75
kennss/SiliconScope

Systemmonitor für Apple Silicon ohne sudo (native SwiftUI-GUI) mit ANE-/Media-Engine-/Speicherbandbreitenverfolgung

kennss
⭐ 1,026 Swift 👤 kennss User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-06-08
76
wangeai/K3Flight

Führen Sie Kimi K3 lokal auf der CPU mit ca. 55 GB gemessenem Laufzeit-RAM aus. Ein Einzeldatei-Linux-Inferenzserver, betrieben von cPilot Runtime.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 Aktualisiert 2026-07-31 📅 Erstellt 2026-07-30
77
sgaofen/humanizer-local-model

Schreibt KI-Entwürfe so um, dass sie wie von Menschen verfasst klingen – läuft lokal und bewahrt die Fakten

sgaofen
⭐ 1,010 Python 👤 sgaofen User 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2026-09-11
78
OleksandrChekhovskyi/hax

Ein minimalistischer, terminal-nativer Programmieragent, geschrieben in C.

OleksandrChekhovskyi
⭐ 1,006 C 👤 OleksandrChekhovskyi User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2026-04-24
79
patruff/ollama-mcp-bridge

Brücke zwischen Ollama und MCP-Servern, die es lokalen LLMs ermöglicht, Model Context Protocol-Tools zu verwenden

patruff
⭐ 973 TypeScript 👤 patruff User 🕐 Aktualisiert 2025-04-20 📅 Erstellt 2024-12-12
80
feder-cr/jev

jevos: eine Open-Source-Alternative zu Jev und Microsoft-Decision-1. Ja/Nein-Entscheidungen, Auswahlmöglichkeiten und Bewertungen mit Wahrscheinlichkeiten – auf der CPU Ihres Laptops.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 Aktualisiert 2026-10-18 📅 Erstellt 2024-08-15
81
kossakovsky/selfhost-ai

One-Command-Installer für einen selbst gehosteten KI-Stack auf deinem eigenen Server: n8n, Ollama, Open WebUI, OpenClaw, Dify, Flowise, Supabase, ComfyUI, Qdrant und über 30 weitere Tools. Docker Compose, automatisches HTTPS über Caddy und integriertes Monitoring. Kostenlose Alternative zu Zapier/Make.

kossakovsky
⭐ 964 Shell 👤 kossakovsky User 🕐 Aktualisiert 2026-10-27 📅 Erstellt 2025-05-05
82
orneryd/NornicDB

Nornicdb ist eine verteilte, latenzarme Graph+Vector- und Temporal-MVCC-Datenbank mit sub-ms HNSW-Suche, Graphtraversierung und Schreibvorgängen. Durch die Verwendung von Neo4j Bolt/Cypher und qdrants gRPC können Sie ohne Änderungen umsteigen und gleichzeitig intelligente Funktionen wie Schemas, verwaltete Embeddings, Reranking+LLM, GPU-Beschleunigung, Auto-TLP, richtlinienbasierten Speicherabbau und einen MCP-Server hinzufügen.

orneryd
⭐ 933 Go 👤 orneryd User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-12-06
83
mrdbourke/simple-local-rag

Erstellen Sie eine RAG (Retrieval Augmented Generation) Pipeline von Grund auf und lassen Sie sie komplett lokal laufen.

mrdbourke
⭐ 923 Jupyter Notebook 👤 mrdbourke User 🕐 Aktualisiert 2024-05-25 📅 Erstellt 2024-03-13
84
hehehai/VoxtMini

Spracheingabe für macOS mit lokalen Modellen: Transkribiere, übersetze und formuliere in jeder App um. Der Nachfolger von Voxt.

hehehai
⭐ 916 Go 👤 hehehai User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-26
85
genex-games/genex-desktop

Open-Source-Desktop-App für KI-native Spieleentwicklung. Entwickle mit Unreal Engine, Unity, Godot, Roblox oder Three.js und jeder KI, auch mit lokalen Modellen.

genex-games
⭐ 901 TypeScript 👤 genex-games Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-02
86
bernardo-bruning/ollama-copilot

Proxy, der es Ihnen ermöglicht, ollama wie Github Copilot zu verwenden

bernardo-bruning
⭐ 887 Go 👤 bernardo-bruning User 🕐 Aktualisiert 2026-09-14 📅 Erstellt 2024-04-25
87
Pangu-Immortal/MagicWX

Android-17-Prototyp für lokale LLM mit Jetpack Compose und ONNX Runtime für Offline-KI-Inferenzexperimente.

Pangu-Immortal
⭐ 864 Kotlin 👤 Pangu-Immortal User 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2019-05-08
88
gavamedia/deltafin

Führen Sie das vollständige Kimi K3 auf einem einzigen Gerät aus. Sowie einen OpenAI-kompatiblen API-Server für lokale Chat- und Coding-Agenten.

gavamedia
⭐ 862 Rust 👤 gavamedia Organization 🕐 Aktualisiert 2026-10-04 📅 Erstellt 2026-07-28
89
kytmanov/obsidian-llm-wiki-local

Karpathy’s LLM Wiki, 100% lokal mit Ollama. Markdown-Notizen einfügen → KI extrahiert Konzepte → deine Obsidian-Wiki verlinkt automatisch und wächst. Null Teilen. Deine Notizen bleiben deine.

kytmanov
⭐ 855 Python 👤 kytmanov User 🕐 Aktualisiert 2026-05-26 📅 Erstellt 2026-04-07
90
nace-ai/kapitsa

Blitzschnelle Inferenz-Engine für Apple Silicon, optimiert für Qwen und Nemotron. Kompatibel mit den APIs von OpenAI und Anthropic. Entwickelt vom Team von nace.ai

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-16
91
jonigl/mcp-client-for-ollama

Nutzen Sie die Leistung lokaler LLMs mit diesem TUI MCP-Client für Ollama. Ausgestattet mit allen wichtigen MCP-Primitiven (Werkzeuge, Eingabeaufforderungen, Ressourcen), Agentenmodus, Multi-Server, Modellwechsel, Streaming-Antworten, Human-in-the-Loop, Denkmodus, Modellparameterkonfiguration, Systemaufforderungen und gespeicherten Einstellungen.

jonigl
⭐ 837 Python 👤 jonigl User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-04-23
92
nkasmanoff/pi-card

Raspberry Pi Sprachassistent

nkasmanoff
⭐ 808 Python 👤 nkasmanoff User 🕐 Aktualisiert 2024-12-22 📅 Erstellt 2024-05-04
93
tetherto/qvac

Open-Source-SDK für lokale KI – führe KI direkt auf dem Gerät aus, ganz ohne Cloud und API-Schlüssel. Unterstützt GGUF, RAG, die Generierung von Bildern, Musik und Videos, Sprache-zu-Text, P2P-Inferenz und mehr. Plattformübergreifend: Linux, macOS, Windows, Android und iOS.

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-01-03
94
karthik-codex/Autogen_GraphRAG_Ollama

Microsofts GraphRAG + AutoGen + Ollama + Chainlit = Vollständig lokale und kostenlose Multi-Agent RAG Superbot

karthik-codex
⭐ 761 Python 👤 karthik-codex User 🕐 Aktualisiert 2024-07-20 📅 Erstellt 2024-07-07
95
ILikeAI/AlwaysReddy

AlwaysReddy ist ein LLM-Sprachassistent, der immer nur eine Tastenkombination entfernt ist.

ILikeAI
⭐ 760 Python 👤 ILikeAI User 🕐 Aktualisiert 2025-03-04 📅 Erstellt 2024-01-24
96
jart/emacs-copilot

Große Sprachmodell-Codevervollständigung für Emacs

jart
⭐ 758 Emacs Lisp 👤 jart User 🕐 Aktualisiert 2024-01-07 📅 Erstellt 2023-12-31
97
ARahim3/mlx-dspark

Bis zu 4× schnelleres LLM-Decoding auf Apple Silicon, verlustfrei. Native MLX-Portierung des spekulativen Decodings DSpark von DeepSeek und DFlash von z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 und ternäres Bonsai-27B.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2026-06-29
98
notatestuser/ds4-control

macOS-Menüleisten-App für schnelles lokales DeepSeek V4.1 mit einem Kontext von 1 Million Tokens.

notatestuser
⭐ 740 Swift 👤 notatestuser User 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2026-05-29
99
prabanta-dev/janas

37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-20
100
andersrex/notesollama

Verwenden Sie Ollama, um mit lokalen LLMs in Apple Notizen zu sprechen

andersrex
⭐ 711 Swift 👤 andersrex User 🕐 Aktualisiert 2025-08-04 📅 Erstellt 2024-02-19