#local-llm Repositories
Entdecke 122 aktive Open-Source-GitHub-Repositories, die mit #local-llm getaggt sind und insgesamt 383,928 Sterne gesammelt haben (durchschnittlich 3,146 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist HKUDS/nanobot mit 50,249 Sternen.
Insgesamt 122 Repositories
Ein in Rust geschriebener Open-Source-Coding-Agent für dein Terminal. Er funktioniert mit jedem Modell, kann eine Aufgabe auf mehrere Agenten aufteilen und jede einzelne Codezeile ist für dich einsehbar.
Feinabstimmung von LLMs aus einem YAML. Layer-Streaming trainiert ein 8B-Modell auf einer 4-GB-Laptop-GPU.
~95% bei SimpleQA (z.B. Qwen3.6-27B auf einer 3090). Unterstützt alle lokalen und Cloud-LLMs (llama.cpp, Ollama, Google, ...). 10+ Suchmaschinen - arXiv, PubMed, Ihre privaten Dokumente. Alles lokal & verschlüsselt.
Vollständig lokaler Webrecherchen- und Berichterstellungsassistent
FreeAskInternet ist ein völlig kostenloser, PRIVATER und LOKAL laufender Suchaggregator & Antwortgenerator, der MULTIPLE LLMs verwendet, ohne dass eine GPU benötigt wird. Der Benutzer kann eine Frage stellen, und das System führt eine Multi-Engine-Suche durch und kombiniert die Suchergebnisse mit LLM, um die Antwort basierend auf den Suchergebnissen zu generieren. Es ist alles KOSTENLOS nutzbar.
Selbst gehostete TypeScript-Agentenlaufzeit mit dauerhaft gespeicherten Genehmigungen und überprüfbaren Ausführungsprotokollen. Sie behalten die Kontrolle, genehmigen und prüfen selbst.
Open-Source-Sprach-KI-Plattform. Selbstgehostete Alternative zu Vapi und Retell. On-Premise, BYOK für Speech-to-Speech oder LLM/STT/TTS, mit visuellem Workflow-Builder, MCP-nativ und Telefonie-Unterstützung.
Local-First-KI im Gesundheitswesen: klinische Erkennung benannter Entitäten (NER) und HIPAA-konforme De-Identifizierung personenbezogener Daten (PII) auf Hardware, die Sie kontrollieren. Über 2.200 medizinische Modelle, modellgestützte PII-Verarbeitung in 35 Sprachen sowie Laufzeitumgebungen für Python, MLX, Android und Browser. SDK unter Apache-2.0-Lizenz.
Dies ist der Persönlichkeitskern für GLaDOS, die ersten Schritte hin zu einer realen Umsetzung der KI aus der Portal-Serie von Valve.
Eine selbst gehostete App für die Jobsuche und zur Erstellung von Lebensläufen, die anhand Ihres Profils maßgeschneiderte Lebensläufe und Anschreiben verfasst.
Meinungsstarke, paranoide Textabstände in JavaScript mit semantischer Beurteilung durch KI auf dem Gerät
Das All-in-One lokale KI-Studio für Ihren Desktop: Chat, Bild- und Videoerzeugung und ein Coding-Agent in einer kostenlosen Open-Source-App. Windows und Linux. Kein Docker, kein Terminal, keine Cloud erforderlich.
Rapid-MLX ist ein Open-Source-LLM-Inferenzserver (Apache 2.0) für Apple Silicon, kompatibel mit OpenAI und Anthropic, auf MLX aufgebaut und auf zuverlässige Tool-Aufrufe für Coding-Agenten ausgerichtet. Mit denselben Gewichten bis zu 4× schneller als Apples MLX (mlx-lm).
Persönliche KI-Notizbücher. Organisieren Sie Dateien und Webseiten und generieren Sie Notizen daraus. Open Source, lokale & offene Daten, Wahl des offenen Modells (einschließlich lokal).
Atomic Agent ist ein KI-Agent mit Fokus auf lokale Ausführung. Führt Modelle mit offenen Gewichten über llama.cpp auf Ihrem eigenen Rechner aus.
Nutzungslimit für Claude Code erreicht? Arbeite kostenlos und offline mit einem lokalen Modell weiter: Qwen 3.8, Gemma 4 und Qwen 4 ab dem Tag seiner Veröffentlichung. Läuft auf Macs mit Apple Silicon (MLX), Linux und Windows (llama.cpp) – ganz ohne API-Schlüssel. Dein Code bleibt bei dir.
Linger ist ein quelloffener persönlicher Agent, der vollständig auf deinem PC läuft. Wir wollen die Macht der großen Tech-Konzerne über KI brechen, indem wir leistungsstarke lokale KI durch ein effizientes gemeinsames Design von Modell und Laufzeitumgebung auf Alltagscomputer bringen – damit alle ihre eigene KI betreiben können.
Führen Sie GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) und Hy4-Flash (220B) auf Ihren eigenen GPUs aus – ab 8 GB VRAM, mit Unterstützung für NVIDIA und AMD, einem einzigen Dashboard sowie einer mit OpenAI und Anthropic kompatiblen API.
Eine kuratierte Liste großartiger Plattformen, Tools, Praktiken und Ressourcen, die dabei helfen, LLMs lokal auszuführen
Open-Source-Desktop-KI-Agent für Tools, Dateien, Wissen, Workflows und echte Ergebnisse.
Führe große Qwen-Modelle schnell auf den GPUs aus, die du tatsächlich besitzt. Qwen3.8-27B auf einer einzelnen 24-GB-Karte mit vLLM: 127 Tok/s bei einem einzelnen Nutzer (381, wenn die Antwort den Prompt zitiert), etwa 1.035 Tok/s bei 64 gleichzeitigen Anfragen und ein Kontext von 150k–262k. vLLM-Patches, Requantisierungs-Pipeline und Benchmarks.
Die schnellste Möglichkeit, Qwen 3.8 Flash Next, Qwen 3.8 27B und Ternary Bonsai 2 27B auf einem Mac auszuführen: 125 Token/s in OpenCode auf einem M5 Max und ein 27B-Modell auf Macs mit 16 GB. Native MTP-Spekulativdekodierung auf Apple Silicon, bei jeder Temperatur exakt. Lokaler Server mit OpenAI- und Anthropic-Kompatibilität.
Professionelles KI-Recherchetool für Zotero: Chatten Sie mit PDFs, durchsuchen Sie Ihre gesamte Bibliothek, Literatur-Radar und Autopilot. Über 30 LLMs oder lokale Modelle; integrierter MCP-Server. Chatten Sie auf dem iPhone mit Ihrem Zotero für unterwegs → https://www.docsagent.app
Native LLM-Inferenzserver für Apple Silicon. Kompatibel mit den APIs von OpenAI und Anthropic. Ohne Python. macOS-App mit Zig-Backend und Swift-Frontend für die Generierung von Chats, Musik, Sprache und Videos.
GraphRAG mit lokalen LLMs – Bietet robuste APIs und mehrere Apps für Indizierung/Prompt-Tuning/Abfrage/Chat/Visualisierung/usw. Dies soll die ultimative GraphRAG/KG-App für lokale LLMs sein.
Lokale KI-App und Inferenz-Engine für Agenten. Führen Sie Open-Weight-LLMs lokal aus – privat, 100 % offline auf Ihrem Computer. Treten Sie unserem Discord bei: https://discord.com/invite/8wGSsvmg4V
Synthadoc: Eine Open-Source-LLM-Wissenskompilierungs-Engine, die Rohdokumente in strukturierte, lokale Wikis verwandelt. Eine transparente, für Menschen lesbare Alternative zu traditionellem RAG, die ohne den Einsatz von Werkzeugen selbst verwaltet und verbessert werden kann.
Kostenloser, hochwertiger Text-to-Speech API-Endpunkt als Ersatz für OpenAI, Azure oder ElevenLabs
Die ultimative zero-install, portable lokale KI-Umgebung. Führen Sie hochwertige, unzensierte LLMs (Gemma, Qwen, NemoMix) direkt von jedem USB-Stick oder SSD aus. Vollständig air-gapped, plattformübergreifend (Win/Mac/Linux) und datenschutzorientiert mit persistentem Chat-Verlauf.
Ja, es ist eine weitere Chat-über-Dokumente-Implementierung... aber diese ist komplett lokal!
Der Micro-Agent-Orchestrator, der alles für Sie überwacht. Läuft vollständig lokal. Open Source.
Capri — Kostenloses, quelloffenes KI-Desktop-Haustier, Gaming-Overlay und Sprachbegleiter für Windows. Visuelle Benutzeroberfläche für Claude Code, Ollama, DeepSeek und MCP. Nimmt an Discord-Anrufen teil, startet Steam-Spiele, kommentiert das Gameplay und automatisiert Bildschirmaufgaben offline.
NobodyWho ist eine Inferenz-Engine, mit der Sie LLMs lokal und effizient auf jedem Gerät ausführen können.
Row-Bot: ein lokal ausgerichteter KI-Assistent, der echte Arbeit erledigt. Er merkt sich, was wichtig ist, arbeitet mit deinen Dateien, deinem Code, deinen Designs, deinem Browser und deinen Apps, führt Workflows und Agenten aus und meldet sich, wenn er dich braucht. Vor riskanten Aktionen fragt er erst um Erlaubnis. Nutze deinen ChatGPT-, Claude- oder Grok-Tarif, einen API-Schlüssel oder lokale Modelle. Deine Daten bleiben auf deinem Gerät.
Hochleistungs-LLM-Inferenzserver, kompatibel mit OpenAI und Anthropic, für Apple Silicon. Natives MLX, kontinuierliches Batching, multimodale Modelle, MCP-Toolaufrufe und Claude-Code-Unterstützung.
Open-Source-Builds für KI-Computer, von Desktop-PCs mit 2 GPUs bis zu Servern mit 8 GPUs: CAD, Stückliste, BIOS und Bauanleitungen. Hol dir das Gehäuse-Kit mit PCIe-Risern oder bitte uns um eine kostenlose Passformprüfung.
Open-Source-Grok-Bot. Gawk-Bots automatisieren deine lästige Routinearbeit mithilfe von KI-Modellen und erstellen Mikro-Apps, mit denen du das Ergebnis verwalten kannst, sodass du ein falsches Gefühl der Kontrolle bekommst.
Häufig gestellte Fragen
Welches ist das beliebteste #local-llm-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#local-llm-Projekt auf GitHub ist HKUDS/nanobot mit 50,249 Sternen. Dein leichtgewichtiger Open-Source-Personalagent.
Welche Programmiersprachen werden in #local-llm-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #local-llm-Projekten auf GitHub sind Python, TypeScript, Rust, C++ die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #local-llm-Repositories berechnet?
Wir verfolgen 122 aktive Open-Source-Repositories, die mit #local-llm getaggt sind (500+ Sterne), mit insgesamt 383,928 Sternen und durchschnittlich 3,146 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.