#llama-cpp Repositories
Entdecke 69 aktive Open-Source-GitHub-Repositories, die mit #llama-cpp getaggt sind und insgesamt 212,421 Sterne gesammelt haben (durchschnittlich 3,078 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist QwenLM/Qwen3 mit 27,753 Sternen.
Insgesamt 69 Repositories
Qwen3 ist die Serie von großen Sprachmodellen, die vom Qwen-Team von Alibaba Cloud entwickelt wurde.
Die schnellste und einzige Diktier-App für macOS mit geräteinterner Spracherkennung (STT) und einem individuell trainierten KI-Optimierungsmodell. Für Windows und als iOS-TestFlight verfügbar! Wartelisten für Android und Linux sind geöffnet! Eine lokale Alternative zu Wispr Flow. Folge https://x.com/fluidvoiceapp für mehr.
Ein selbst gehosteter, Offline-Chatbot ähnlich wie ChatGPT. Angetrieben von Llama 2. 100% privat, ohne dass Daten Ihr Gerät verlassen. Neu: Code Llama Unterstützung!
Open-Source-SenseVoiceSmall-Modell für ASR in Mandarin, Kantonesisch, Englisch, Japanisch und Koreanisch, Sprachidentifikation, Emotionserkennung und Audioereigniserkennung.
Open-Source-Inferenzplattform für Sprach-, Vision-, Embedding-, Reranking-, Bild-, Audio- und Videomodelle. Stellen Sie mehrere Engines auf heterogener Hardware bereit – vom Laptop bis zum verteilten Cluster. Stellen Sie Modelle über OpenAI-kompatible APIs bereit.
ODS V3 Vorabversion: Öffentliche Tests und Verbesserungen vor dem offiziellen Start von V3. Verwandeln Sie Ihren PC, Mac oder Linux-Rechner in einen privaten KI-Server.
Durchsuche deinen Computer nach dem Inhalt deiner Dateien: Fotos, PDFs, Dokumente, Aufnahmen, Videos und Code. Läuft lokal auf Mac, Windows und Linux und basiert auf EmbeddingGemma 2 von Google DeepMind.
Eine C#/.NET-Bibliothek zum effizienten Ausführen von LLMs (🦙LLaMA/LLaVA) auf Ihrem lokalen Gerät.
Atomic Agent ist ein KI-Agent mit Fokus auf lokale Ausführung. Führt Modelle mit offenen Gewichten über llama.cpp auf Ihrem eigenen Rechner aus.
Nutzungslimit für Claude Code erreicht? Arbeite kostenlos und offline mit einem lokalen Modell weiter: Qwen 3.8, Gemma 4 und Qwen 4 ab dem Tag seiner Veröffentlichung. Läuft auf Macs mit Apple Silicon (MLX), Linux und Windows (llama.cpp) – ganz ohne API-Schlüssel. Dein Code bleibt bei dir.
Das Schweizer Taschenmesser der Offline-KI. Chatten, sehen, sprechen und Bilder generieren auf Ihrem Telefon oder Mac – GGUF-LLMs, Vision, Whisper-Spracherkennung, Stable Diffusion, Tool-Calling und lokale Netzwerkserver. Läuft auf Ihrer CPU, GPU oder NPU. Kein Konto, kein API-Schlüssel, keine Daten verlassen Ihr Gerät.
Plattform für Open‑Source‑AI‑Kamerafähigkeiten, AI‑NVR und CCTV‑Überwachung. Lokale VLM‑Videoanalyse mit Qwen, DeepSeek, SmolVLM, LLaVA, YOLO26. LLM‑gestützter, agentisierter Sicherheitskameraagent – beobachtet, versteht, erinnert sich und schützt Ihr Zuhause über Telegram, Discord oder Slack. Plugbare AI‑Fähigkeiten. OpenAI, Google, Anthropic oder lokale AI. Läuft auf Mac Mini & AI‑PC.
Private KI-Meetingnotizen, die auf deinem Computer bleiben. Kein Meeting-Bot. Kostenlos und Open Source für Mac, Windows und Linux. Eine Alternative zu Granola, Otter und Fireflies.
Maid ist eine kostenlose und quelloffene Anwendung zur Interaktion mit llama.cpp-Modellen lokal und mit Anthropic-, DeepSeek-, Ollama-, Mistral- und OpenAI-Modellen remote.
Ein Python-Framework für selbstgehostete LLM-Tool-Aufrufe und mehrstufige Agenten-Workflows
Führen Sie KI-Modelle lokal auf Ihrem Computer mit Node.js-Bindings für llama.cpp aus. Erzwingen Sie ein JSON-Schema für die Modellausgabe auf der Generierungsebene.
Mehrere NVIDIA GPUs oder Apple Silicon für die Inferenz großer Sprachmodelle?
Der Micro-Agent-Orchestrator, der alles für Sie überwacht. Läuft vollständig lokal. Open Source.
Dieser Kurs soll Anfänger durch die spannende Welt der Edge AI führen und behandelt grundlegende Konzepte, beliebte Modelle, Inferenztechniken, gerätespezifische Anwendungen, Modelloptimierung und die Entwicklung intelligenter Edge AI-Agenten.
Offene Entscheidungsmodelle von 0,8B bis 27B: eine kalibrierte Wahrscheinlichkeit für jede Option in einem Durchgang und nur bei Unsicherheit ein kurzer Gedankengang. Engine für vLLM, llama.cpp und MLX.
Bilde deinen Körper in Daten ab. Ein Standard, alle Quellen, ein vollständiges Bild von dir: eine selbst gehostete Gesundheitsakte aus Laborberichten, Wearable-Daten und Genetik – mit jeder Zahl bis zu ihrer Quelle zurückverfolgbar und einem integrierten MCP-Server. Führe sie mit Docker und einem LLM-Schlüssel aus oder betreibe alle Modelle lokal mit llama.cpp.
Fun-ASR-Spracherkennungsmodelle mit nativer Unterstützung für Hugging Face Transformers für Fun-ASR-Nano sowie separaten Bereitstellungspfaden für FunASR, vLLM und llama.cpp.
Jev-kompatibler API-Server für offene Entscheidungsmodelle. Ollama für Entscheidungsmodelle: 29 Modellfamilien (Laya, pplx-decider, Clef, Winnow, coba...) lokal herunterladen und ausführen oder hinter /v1/systemone selbst hosten. Das TypeSafe-SDK funktioniert unverändert: Basis-URL festlegen und ein offenes Modell auswählen. CLI, Desktop-App, Docker, MCP-Server und öffentlicher Benchmark.
GPU-freie CPU-Inferenz für 30B–284B-MoE-Modelle (Qwen3.8 176.5B mit kaltem Cache in Cgroup v2 bei 28,26/48,35 GiB zertifiziert, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Open-Source-Android-Übersetzer für den Echtzeit-Bildschirm ohne Root, geeignet für Spiele, Visual Novels und Manga. Unterstützt On-Device- und Cloud-OCR, Offline-LLMs, mehrere Übersetzungsdienste, Bildschirmübersetzungen und Text-to-Speech (TTS).
Beschleunigen Sie Hosts mit großem Speicher und geringer Rechendichte mithilfe von Karten mit hoher Rechendichte, darunter AI Max+ 395, M3 512G und DGX Spark.
Führe Modelle aus, die größer sind als dein RAM oder VRAM, indem du MoE-Experten von einer SSD streamst. Basiert auf llama.cpp.
Dein iPhone unterstützt deinen Mac beim Ausführen eines 27B-Modells: schnelleres Einlesen von Prompts und mehr Kontext über ein USB-C-Kabel
Cotabby ist die lokale KI-Autovervollständigung für Ihren gesamten Mac. Open Source. Auf dem Gerät. Überall, wo Sie tippen.
Die Fähigkeit maximieren, verschiedene LLMs auf möglichst kleinen Geräten auszuführen
Erstellen und ausführen von KI-Agenten mit Docker Compose. Eine Sammlung von gebrauchsfertigen Beispielen für die Orchestrierung von Open-Source-LLMs, Tools und Agenten-Runtimes.
Führe MoE-Modelle aus, die größer sind als dein RAM. MoE-Modelle der Spitzenklasse auf einem Smartphone, Laptop oder Edge-Gerät. Verlustfrei, mit unverändertem llama.cpp. Ein adaptiver Streaming-Optimierer. Jede Hardware, jedes Betriebssystem, jedes Modell und jede Quantisierung – über einen lokalen OpenAI-kompatiblen Server.
AI PC Starter-App für KI-Bilderstellung, Bildstiländerung und Chatbot auf einem PC mit einer Intel® Arc™ GPU.
Systemmonitor für Apple Silicon ohne sudo (native SwiftUI-GUI) mit ANE-/Media-Engine-/Speicherbandbreitenverfolgung
Schreibt KI-Entwürfe so um, dass sie wie von Menschen verfasst klingen – läuft lokal und bewahrt die Fakten
Ein minimalistischer, terminal-nativer Programmieragent, geschrieben in C.
Ein API-kompatibler Drop-in-Ersatz für Apples Foundation Models Framework mit Unterstützung für benutzerdefinierte Sprachmodell-Anbieter.
jevos: eine Open-Source-Alternative zu Jev und Microsoft-Decision-1. Ja/Nein-Entscheidungen, Auswahlmöglichkeiten und Bewertungen mit Wahrscheinlichkeiten – auf der CPU Ihres Laptops.
Ein CLI zur Schätzung des Speicherbedarfs für Inferenz bei Hugging Face Modellen, geschrieben in Python.
Häufig gestellte Fragen
Welches ist das beliebteste #llama-cpp-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#llama-cpp-Projekt auf GitHub ist QwenLM/Qwen3 mit 27,753 Sternen. Qwen3 ist die Serie von großen Sprachmodellen, die vom Qwen-Team von Alibaba Cloud entwickelt wurde.
Welche Programmiersprachen werden in #llama-cpp-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #llama-cpp-Projekten auf GitHub sind Python, TypeScript, C++, Swift die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #llama-cpp-Repositories berechnet?
Wir verfolgen 69 aktive Open-Source-Repositories, die mit #llama-cpp getaggt sind (500+ Sterne), mit insgesamt 212,421 Sternen und durchschnittlich 3,078 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.