#local-llm Repositories
Insgesamt 122 Repositories
Der offizielle API-Server für Exllama. OAI-kompatibel, leichtgewichtig und schnell.
LLMs auf deinem Mac mit Apple Silicon fine-tunen. SFT, DPO, GRPO, Vision, TTS, STT, Embedding und OCR-Fine-Tuning — nativ auf MLX. Unsloth-kompatible API.
🌌 Verleihe deinen Lieblingscharakteren eine Seele. Soul of Waifu ist eine Desktop-App für Rollenspiele und KI-Begleiter mit Live2D/VRM-Avataren, Voice-Chat und lokalem LLM. Entwickelt euch gemeinsam durch immersive Chats, RPG-Abenteuer und direkt auf eurem Desktop.
Open-Source-Analyse der Kundenstimme mit Datenschutz an erster Stelle. Eine selbst gehostete Alternative zu Enterpret und Unwrap, die personenbezogene Daten aus Feedback entfernt, bevor ein LLM es verarbeitet.
Lokale Inferenz mit dem Verhalten einer hochmodernen API: Qwen3.8-Flash-Next auf AMD Strix Halo sowie kleine NPU-Modelle – über die OpenAI- und Anthropic-APIs auf einem einzigen Port.
GPU-freie CPU-Inferenz für 30B–284B-MoE-Modelle (Qwen3.8 176.5B mit kaltem Cache in Cgroup v2 bei 28,26/48,35 GiB zertifiziert, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Ein einfaches Demo-Spielzeug eines lokalen Sprachassistenten mit Whisper und einem großen Sprachmodell.
Führen Sie große KI-Modelle auf Ihrem eigenen PC aus: Qwen3.8-Flash-Next mit der Engine von Strata sowie GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder und MiniCPM-V mit einer zweiten Engine, die für PolyStrata entwickelt wurde. Ein-Klick-Installation für Windows und Linux, mit OpenAI-/Anthropic-API auf localhost.
Open-Source- und autonome KI-Penetrationstests. 50 spezialisierte Agenten für Web, APIs, Cloud, Active Directory, Kubernetes, CI/CD und KI/LLM (OWASP LLM Top 10) – mit einem evidenzgeprüften Angriffspfad-Graphen. Läuft mit einem lokalen LLM hinter einem Privacy Gateway. Integriert sich in GitHub, GitLab, Jenkins, VS Code, JetBrains, n8n, Grafana und Splunk.
Führe Modelle aus, die größer sind als dein RAM oder VRAM, indem du MoE-Experten von einer SSD streamst. Basiert auf llama.cpp.
Open-Source-KI-Gefährten, Desktop-Haustiere, Langzeitgedächtnis und proaktiver Chat. Umfassende Sammlung von Open-Source-Projekten für Mensch-KI-Beziehungen. Ermöglichen Sie Ihrer lokalen KI, unabhängig von offiziellen Plattformen zu existieren – ausgestattet mit Gedächtnis und Eigeninitiative.
Liste großartiger Plattformen, Tools und Ressourcen zum lokalen Betrieb von LLMs
Dein iPhone unterstützt deinen Mac beim Ausführen eines 27B-Modells: schnelleres Einlesen von Prompts und mehr Kontext über ein USB-C-Kabel
Bietet automatisierte Reverse-Engineering-Unterstützung durch die Verwendung lokaler großer Sprachmodelle (LLMs) auf Consumer-Hardware.
PokeClaw (PocketClaw) — erstes On-Device-KI, das dein Android-Phone steuert. Gemma 4, kein Cloud, kein API-Schlüssel. Poke ist die Kurzform für Pocket.
Die Fähigkeit maximieren, verschiedene LLMs auf möglichst kleinen Geräten auszuführen
Bauen Sie KI-Agenten von Grund auf mit einem lokalen LLM – ohne Frameworks, ohne Cloud‑APIs und ohne verstecktes Denken.
Ein einfacher, lokal gehosteter Web-Suche-MCP-Server zur Verwendung mit lokalen LLMs
Eine einfache und benutzerfreundliche Bibliothek für die Interaktion mit der Ollama API.
Behalte den Workflow in der Hand: eine Open-Source-KI-Plattform für dein Wissen, deine Modelle und Kanäle – Web, WhatsApp, E-Mail, Outlook, Nextcloud und ownCloud. Lokale und Cloud-Modelle nebeneinander, mit den Kosten für jede Antwort.
Capri — ein von Edgerunners inspirierter KI-Agent für deinen Desktop. Unterstützt Claude 3.7, Claude Code, OpenAI und lokales Ollama/LLaMA. Anpassbare KI-Waifu-Begleiterin mit Sprachchat.
Die derzeit fortschrittlichste, vollständig offline arbeitende Client-seitige KI-Suite für Android.
Systemmonitor für Apple Silicon ohne sudo (native SwiftUI-GUI) mit ANE-/Media-Engine-/Speicherbandbreitenverfolgung
Führen Sie Kimi K3 lokal auf der CPU mit ca. 55 GB gemessenem Laufzeit-RAM aus. Ein Einzeldatei-Linux-Inferenzserver, betrieben von cPilot Runtime.
Schreibt KI-Entwürfe so um, dass sie wie von Menschen verfasst klingen – läuft lokal und bewahrt die Fakten
Ein minimalistischer, terminal-nativer Programmieragent, geschrieben in C.
Brücke zwischen Ollama und MCP-Servern, die es lokalen LLMs ermöglicht, Model Context Protocol-Tools zu verwenden
jevos: eine Open-Source-Alternative zu Jev und Microsoft-Decision-1. Ja/Nein-Entscheidungen, Auswahlmöglichkeiten und Bewertungen mit Wahrscheinlichkeiten – auf der CPU Ihres Laptops.
One-Command-Installer für einen selbst gehosteten KI-Stack auf deinem eigenen Server: n8n, Ollama, Open WebUI, OpenClaw, Dify, Flowise, Supabase, ComfyUI, Qdrant und über 30 weitere Tools. Docker Compose, automatisches HTTPS über Caddy und integriertes Monitoring. Kostenlose Alternative zu Zapier/Make.
Nornicdb ist eine verteilte, latenzarme Graph+Vector- und Temporal-MVCC-Datenbank mit sub-ms HNSW-Suche, Graphtraversierung und Schreibvorgängen. Durch die Verwendung von Neo4j Bolt/Cypher und qdrants gRPC können Sie ohne Änderungen umsteigen und gleichzeitig intelligente Funktionen wie Schemas, verwaltete Embeddings, Reranking+LLM, GPU-Beschleunigung, Auto-TLP, richtlinienbasierten Speicherabbau und einen MCP-Server hinzufügen.
Erstellen Sie eine RAG (Retrieval Augmented Generation) Pipeline von Grund auf und lassen Sie sie komplett lokal laufen.
Spracheingabe für macOS mit lokalen Modellen: Transkribiere, übersetze und formuliere in jeder App um. Der Nachfolger von Voxt.
Open-Source-Desktop-App für KI-native Spieleentwicklung. Entwickle mit Unreal Engine, Unity, Godot, Roblox oder Three.js und jeder KI, auch mit lokalen Modellen.
Proxy, der es Ihnen ermöglicht, ollama wie Github Copilot zu verwenden
Android-17-Prototyp für lokale LLM mit Jetpack Compose und ONNX Runtime für Offline-KI-Inferenzexperimente.
Führen Sie das vollständige Kimi K3 auf einem einzigen Gerät aus. Sowie einen OpenAI-kompatiblen API-Server für lokale Chat- und Coding-Agenten.
Karpathy’s LLM Wiki, 100% lokal mit Ollama. Markdown-Notizen einfügen → KI extrahiert Konzepte → deine Obsidian-Wiki verlinkt automatisch und wächst. Null Teilen. Deine Notizen bleiben deine.
Blitzschnelle Inferenz-Engine für Apple Silicon, optimiert für Qwen und Nemotron. Kompatibel mit den APIs von OpenAI und Anthropic. Entwickelt vom Team von nace.ai
Nutzen Sie die Leistung lokaler LLMs mit diesem TUI MCP-Client für Ollama. Ausgestattet mit allen wichtigen MCP-Primitiven (Werkzeuge, Eingabeaufforderungen, Ressourcen), Agentenmodus, Multi-Server, Modellwechsel, Streaming-Antworten, Human-in-the-Loop, Denkmodus, Modellparameterkonfiguration, Systemaufforderungen und gespeicherten Einstellungen.
Open-Source-SDK für lokale KI – führe KI direkt auf dem Gerät aus, ganz ohne Cloud und API-Schlüssel. Unterstützt GGUF, RAG, die Generierung von Bildern, Musik und Videos, Sprache-zu-Text, P2P-Inferenz und mehr. Plattformübergreifend: Linux, macOS, Windows, Android und iOS.
Microsofts GraphRAG + AutoGen + Ollama + Chainlit = Vollständig lokale und kostenlose Multi-Agent RAG Superbot
AlwaysReddy ist ein LLM-Sprachassistent, der immer nur eine Tastenkombination entfernt ist.
Bis zu 4× schnelleres LLM-Decoding auf Apple Silicon, verlustfrei. Native MLX-Portierung des spekulativen Decodings DSpark von DeepSeek und DFlash von z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 und ternäres Bonsai-27B.
macOS-Menüleisten-App für schnelles lokales DeepSeek V4.1 mit einem Kontext von 1 Million Tokens.
37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.