#gguf Repositories
Entdecke 49 aktive Open-Source-GitHub-Repositories, die mit #gguf getaggt sind und insgesamt 165,186 Sterne gesammelt haben (durchschnittlich 3,371 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist AlexsJones/llmfit mit 39,174 Sternen.
Insgesamt 50 Repositories
Hunderte von Modellen & Anbietern. Ein Befehl, um zu finden, was auf deiner Hardware läuft.
Feinabstimmung von LLMs aus einem YAML. Layer-Streaming trainiert ein 8B-Modell auf einer 4-GB-Laptop-GPU.
Dies ist ein einfaches technisches科普-Tutorial-Projekt, das sich hauptsächlich darauf konzentriert, einige interessante, hochmoderne technische Konzepte und Prinzipien zu erklären. Jeder Artikel wird angestrebt, in 5 Minuten gelesen zu werden.
🛡️ BLA (bla-agents / Blind LLM Agents) — Open-Source-Blue-Defense-MCP-Server und CLI zum Schutz von JS/TS, Electron ASAR, WASM, Python, nativen Binärdateien, SQLite, GGUF/Safetensors und Android DEX vor KI-gestützten Reverse-Engineering-Agenten (REA).
⚡ WebGPU-Inferenz-Engine in reinem Rust — OpenAI-API-kompatibel, GGUF-nativ, läuft auf jeder GPU. Kein Python. Kein llama.cpp. Einzelne Binärdatei.
Atomic Agent ist ein KI-Agent mit Fokus auf lokale Ausführung. Führt Modelle mit offenen Gewichten über llama.cpp auf Ihrem eigenen Rechner aus.
Das Schweizer Taschenmesser der Offline-KI. Chatten, sehen, sprechen und Bilder generieren auf Ihrem Telefon oder Mac – GGUF-LLMs, Vision, Whisper-Spracherkennung, Stable Diffusion, Tool-Calling und lokale Netzwerkserver. Läuft auf Ihrer CPU, GPU oder NPU. Kein Konto, kein API-Schlüssel, keine Daten verlassen Ihr Gerät.
Führen Sie GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) und Hy4-Flash (220B) auf Ihren eigenen GPUs aus – ab 8 GB VRAM, mit Unterstützung für NVIDIA und AMD, einem einzigen Dashboard sowie einer mit OpenAI und Anthropic kompatiblen API.
Maid ist eine kostenlose und quelloffene Anwendung zur Interaktion mit llama.cpp-Modellen lokal und mit Anthropic-, DeepSeek-, Ollama-, Mistral- und OpenAI-Modellen remote.
Ollama in der Praxis: Große Modelle mit der CPU bereitstellen, Online-Leseadresse: https://datawhalechina.github.io/handy-ollama/
Native LLM-Inferenzserver für Apple Silicon. Kompatibel mit den APIs von OpenAI und Anthropic. Ohne Python. macOS-App mit Zig-Backend und Swift-Frontend für die Generierung von Chats, Musik, Sprache und Videos.
Das LLM-Agenten-Framework in ComfyUI umfasst die Knoten MCP-Server, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 und FLUX-Prompt. Es bietet Zugriff auf Feishu, Discord und passt sich an alle LLMs mit ähnlichen OpenAI/AISuite-Schnittstellen an, wie z. B. o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Angepasst an lokale LLMs, VLMs, GGUF wie llama-3.3 Janus-Pro, Linkage GraphRAG
Führen Sie KI-Modelle lokal auf Ihrem Computer mit Node.js-Bindings für llama.cpp aus. Erzwingen Sie ein JSON-Schema für die Modellausgabe auf der Generierungsebene.
Lokale KI-App und Inferenz-Engine für Agenten. Führen Sie Open-Weight-LLMs lokal aus – privat, 100 % offline auf Ihrem Computer. Treten Sie unserem Discord bei: https://discord.com/invite/8wGSsvmg4V
Offene Entscheidungsmodelle von 0,8B bis 27B: eine kalibrierte Wahrscheinlichkeit für jede Option in einem Durchgang und nur bei Unsicherheit ein kurzer Gedankengang. Engine für vLLM, llama.cpp und MLX.
Effizienz der Post-Training-Quantisierung, Genauigkeit der quantisierungsbewussten Trainingsmethode
NobodyWho ist eine Inferenz-Engine, mit der Sie LLMs lokal und effizient auf jedem Gerät ausführen können.
Der einfachste und schnellste Weg, angepasste und fein abgestimmte LLMs lokal oder am Edge auszuführen
Fun-ASR-Spracherkennungsmodelle mit nativer Unterstützung für Hugging Face Transformers für Fun-ASR-Nano sowie separaten Bereitstellungspfaden für FunASR, vLLM und llama.cpp.
Ein Open-Source-DevOps-Tool der CNCF zum Verpacken und Versionieren von KI/ML-Modellen, Datensätzen, Code und Konfigurationen in ein OCI-Artefakt.
GPU-freie CPU-Inferenz für 30B–284B-MoE-Modelle (Qwen3.8 176.5B mit kaltem Cache in Cgroup v2 bei 28,26/48,35 GiB zertifiziert, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
Open-Source-Android-Übersetzer für den Echtzeit-Bildschirm ohne Root, geeignet für Spiele, Visual Novels und Manga. Unterstützt On-Device- und Cloud-OCR, Offline-LLMs, mehrere Übersetzungsdienste, Bildschirmübersetzungen und Text-to-Speech (TTS).
Führen Sie große KI-Modelle auf Ihrem eigenen PC aus: Qwen3.8-Flash-Next mit der Engine von Strata sowie GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder und MiniCPM-V mit einer zweiten Engine, die für PolyStrata entwickelt wurde. Ein-Klick-Installation für Windows und Linux, mit OpenAI-/Anthropic-API auf localhost.
Führe Modelle aus, die größer sind als dein RAM oder VRAM, indem du MoE-Experten von einer SSD streamst. Basiert auf llama.cpp.
Führe MoE-Modelle aus, die größer sind als dein RAM. MoE-Modelle der Spitzenklasse auf einem Smartphone, Laptop oder Edge-Gerät. Verlustfrei, mit unverändertem llama.cpp. Ein adaptiver Streaming-Optimierer. Jede Hardware, jedes Betriebssystem, jedes Modell und jede Quantisierung – über einen lokalen OpenAI-kompatiblen Server.
Die derzeit fortschrittlichste, vollständig offline arbeitende Client-seitige KI-Suite für Android.
Schreibt KI-Entwürfe so um, dass sie wie von Menschen verfasst klingen – läuft lokal und bewahrt die Fakten
jevos: eine Open-Source-Alternative zu Jev und Microsoft-Decision-1. Ja/Nein-Entscheidungen, Auswahlmöglichkeiten und Bewertungen mit Wahrscheinlichkeiten – auf der CPU Ihres Laptops.
Ein CLI zur Schätzung des Speicherbedarfs für Inferenz bei Hugging Face Modellen, geschrieben in Python.
Offene multimodale Entscheidungsmodelle mit 0,8B bis 27B Parametern für Text, Bilder und Videos. Treffen Sie Entscheidungen anhand von Wahrscheinlichkeiten für eigene Kandidaten und lokalisieren Sie Objekte mit Begrenzungsrahmen, statt Text zu generieren. Kostenlose API, ONNX, GGUF, vLLM und SGLang; Fine-Tuning-Code enthalten.
LLM.swift ist eine einfache und lesbare Bibliothek, die es Ihnen ermöglicht, problemlos mit großen Sprachmodellen lokal für macOS, iOS, watchOS, tvOS und visionOS zu interagieren.
37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.
Eine native .NET-Inferenz-Engine für große Sprachmodelle (LLMs) und eine Agenten-Laufzeitumgebung für GGUF-Modelle. TensorSharp bietet eine Konsolenanwendung, eine webbasierte Chatbot-Oberfläche, eine iPhone-App sowie mit Ollama/OpenAI kompatible HTTP-APIs für den programmgesteuerten Zugriff. Es unterstützt Windows, macOS, iOS und Linux mit vollständiger GPU-Unterstützung.
Mit eigener Intelligenz voran: Schreiben Sie Go-Anwendungen, die llama.cpp direkt integrieren, um unter Linux, macOS, Windows und WebAssembly lokale Inferenz mit Hardwarebeschleunigung durchzuführen.
ComfyUI-Nodes für Vision-Language-Modelle: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Sowie Open-Vocabulary-Erkennung, SAM2/SAM3-Segmentierung, zeitliche Videobetrachtung, GGUF via llama.cpp und gehostete LLM/VLM-APIs.
Go-Bibliothek für eingebettete Vektorsuche und semantische Embeddings mithilfe von llama.cpp
Schnelle, exakte Inferenz für StartLux-Decision-Modelle auf NVIDIA-GPUs: Die veröffentlichten GGUF-Dateien laufen über die /v1/systemone-API auf int8- und 4-Bit-Tensor-Kernen und bieten in FP8 eine bis zu 5,3-mal geringere Latenz als vLLM bei bitidentischen Antworten.
Xolotl: Führe DeepSeek-V4.1-Flash mit allen 552B Parametern als lokalen Coding-Agent auf einem einzigen Gaming-PC aus (RTX 4090 + 110 GB RAM): ca. 33 Tok/s im Agentenmodus, ca. 41 im Schnellmodus, 512K Kontext. Dazu Inkling-2-Mini (Thinking Machines, eigene Engine + MTP-Entwurfsmodul), GLM-5.3-Flash, Qwen3.8 und LFM3-Omni. MoE-Experten werden stufenweise über VRAM, RAM und NVMe verteilt (Xolotl Direct). OpenAI- und Anthropic-API.
Lokale Inferenz für Diffusions-Sprachmodelle (LLaDA, Dream), in Mojo geschrieben
Sprachsynthese, Spracherkennung und Sprachaktivitätserkennung für Sprachkonversationen in C++ auf ggml: Qwen3-TTS, Irodori-TTS, Qwen3-ASR, ReazonSpeech, parakeet und Silero VAD auf Metal, Vulkan und der CPU, mit einem OpenAI-kompatiblen Server und Live-Transkription.
Arabisch-fokussierte generative Spracherkennung — Audar-ASR-V1 (Flash + Turbo). Platz 1 auf der Open Universal Arabic ASR-Bestenliste. Modellkarten, Benchmarks & Inferenz.
Führen Sie einen KI-✨-Assistenten lokal aus! Mit einer einfachen API für Node.js 🚀
Häufig gestellte Fragen
Welches ist das beliebteste #gguf-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#gguf-Projekt auf GitHub ist AlexsJones/llmfit mit 39,174 Sternen. Hunderte von Modellen & Anbietern. Ein Befehl, um zu finden, was auf deiner Hardware läuft.
Welche Programmiersprachen werden in #gguf-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #gguf-Projekten auf GitHub sind Python, C++, TypeScript, Rust die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #gguf-Repositories berechnet?
Wir verfolgen 49 aktive Open-Source-Repositories, die mit #gguf getaggt sind (500+ Sterne), mit insgesamt 165,186 Sternen und durchschnittlich 3,371 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.