Git Stars Git Stars

#gguf Repositories

Entdecke 49 aktive Open-Source-GitHub-Repositories, die mit #gguf getaggt sind und insgesamt 165,186 Sterne gesammelt haben (durchschnittlich 3,371 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist AlexsJones/llmfit mit 39,174 Sternen.

49
Gesamtzahl der Repositories
165,186
Gesamtanzahl der Sterne
3,371
Durchschnittliche Sterne/Repo

Insgesamt 50 Repositories

1
AlexsJones/llmfit

Hunderte von Modellen & Anbietern. Ein Befehl, um zu finden, was auf deiner Hardware läuft.

AlexsJones
⭐ 39,174 Rust 👤 AlexsJones User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-02-15
2
mozilla-ai/llamafile

Verteilen und Ausführen von LLMs mit einer einzigen Datei.

mozilla-ai
⭐ 26,681 C++ 👤 mozilla-ai Organization 🕐 Aktualisiert 2026-11-09 📅 Erstellt 2023-09-10
3
MakazhanAlpamys/Soup

Feinabstimmung von LLMs aus einem YAML. Layer-Streaming trainiert ein 8B-Modell auf einer 4-GB-Laptop-GPU.

MakazhanAlpamys
⭐ 10,703 Python 👤 MakazhanAlpamys User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-20
4
karminski/one-small-step

Dies ist ein einfaches technisches科普-Tutorial-Projekt, das sich hauptsächlich darauf konzentriert, einige interessante, hochmoderne technische Konzepte und Prinzipien zu erklären. Jeder Artikel wird angestrebt, in 5 Minuten gelesen zu werden.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Aktualisiert 2026-03-08 📅 Erstellt 2025-01-16
5
qybaihe/bla

🛡️ BLA (bla-agents / Blind LLM Agents) — Open-Source-Blue-Defense-MCP-Server und CLI zum Schutz von JS/TS, Electron ASAR, WASM, Python, nativen Binärdateien, SQLite, GGUF/Safetensors und Android DEX vor KI-gestützten Reverse-Engineering-Agenten (REA).

qybaihe
⭐ 6,366 TypeScript 👤 qybaihe User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-25
6
Michael-A-Kuykendall/shimmy

⚡ WebGPU-Inferenz-Engine in reinem Rust — OpenAI-API-kompatibel, GGUF-nativ, läuft auf jeder GPU. Kein Python. Kein llama.cpp. Einzelne Binärdatei.

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2025-08-28
7
ngxson/smolvlm-realtime-webcam

Echtzeit-Webcam-Demo mit SmolVLM und llama.cpp-Server

ngxson
⭐ 5,555 HTML 👤 ngxson User 🕐 Aktualisiert 2025-05-12 📅 Erstellt 2025-05-12
8
city96/ComfyUI-GGUF

GGUF-Quantisierungsunterstützung für native ComfyUI-Modelle

city96
⭐ 4,284 Python 👤 city96 User 🕐 Aktualisiert 2026-01-12 📅 Erstellt 2024-08-15
9
AtomicBot-ai/atomic-agent

Atomic Agent ist ein KI-Agent mit Fokus auf lokale Ausführung. Führt Modelle mit offenen Gewichten über llama.cpp auf Ihrem eigenen Rechner aus.

AtomicBot-ai
⭐ 3,589 TypeScript 👤 AtomicBot-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-21
10
off-grid-ai/OGAM

Das Schweizer Taschenmesser der Offline-KI. Chatten, sehen, sprechen und Bilder generieren auf Ihrem Telefon oder Mac – GGUF-LLMs, Vision, Whisper-Spracherkennung, Stable Diffusion, Tool-Calling und lokale Netzwerkserver. Läuft auf Ihrer CPU, GPU oder NPU. Kein Konto, kein API-Schlüssel, keine Daten verlassen Ihr Gerät.

off-grid-ai
⭐ 3,406 TypeScript 👤 off-grid-ai Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-01-29
11
mw00/project-maya

Führen Sie GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) und Hy4-Flash (220B) auf Ihren eigenen GPUs aus – ab 8 GB VRAM, mit Unterstützung für NVIDIA und AMD, einem einzigen Dashboard sowie einer mit OpenAI und Anthropic kompatiblen API.

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-06
12
Mobile-Artificial-Intelligence/maid

Maid ist eine kostenlose und quelloffene Anwendung zur Interaktion mit llama.cpp-Modellen lokal und mit Anthropic-, DeepSeek-, Ollama-, Mistral- und OpenAI-Modellen remote.

Mobile-Artificial-Intelligence
⭐ 2,785 TypeScript 👤 Mobile-Artificial-Intelligence Organization 🕐 Aktualisiert 2026-10-29 📅 Erstellt 2023-10-17
13
datawhalechina/handy-ollama

Ollama in der Praxis: Große Modelle mit der CPU bereitstellen, Online-Leseadresse: https://datawhalechina.github.io/handy-ollama/

datawhalechina
⭐ 2,560 Jupyter Notebook 👤 datawhalechina Organization 🕐 Aktualisiert 2026-01-15 📅 Erstellt 2024-07-30
14
ddalcu/mlx-serve

Native LLM-Inferenzserver für Apple Silicon. Kompatibel mit den APIs von OpenAI und Anthropic. Ohne Python. macOS-App mit Zig-Backend und Swift-Frontend für die Generierung von Chats, Musik, Sprache und Videos.

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-02-17
15
heshengtao/comfyui_LLM_party

Das LLM-Agenten-Framework in ComfyUI umfasst die Knoten MCP-Server, Omost, GPT-sovits, ChatTTS, GOT-OCR2.0 und FLUX-Prompt. Es bietet Zugriff auf Feishu, Discord und passt sich an alle LLMs mit ähnlichen OpenAI/AISuite-Schnittstellen an, wie z. B. o1, ollama, gemini, grok, qwen, GLM, deepseek, kimi, doubao. Angepasst an lokale LLMs, VLMs, GGUF wie llama-3.3 Janus-Pro, Linkage GraphRAG

heshengtao
⭐ 2,393 Python 👤 heshengtao User 🕐 Aktualisiert 2026-07-29 📅 Erstellt 2024-04-13
16
withcatai/node-llama-cpp

Führen Sie KI-Modelle lokal auf Ihrem Computer mit Node.js-Bindings für llama.cpp aus. Erzwingen Sie ein JSON-Schema für die Modellausgabe auf der Generierungsebene.

withcatai
⭐ 2,207 TypeScript 👤 withcatai Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2023-08-12
17
handy-computer/transcribe.cpp

ggml Spracherkennungs-Inferenz für über 16 Modellfamilien

handy-computer
⭐ 2,194 C++ 👤 handy-computer Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-04-07
18
AtomicBot-ai/Atomic-Chat

Lokale KI-App und Inferenz-Engine für Agenten. Führen Sie Open-Weight-LLMs lokal aus – privat, 100 % offline auf Ihrem Computer. Treten Sie unserem Discord bei: https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-03-31
19
sammcj/gollama

Verwalten Sie Ihre Ollama-Modelle

sammcj
⭐ 1,849 Go 👤 sammcj User 🕐 Aktualisiert 2026-10-21 📅 Erstellt 2024-05-30
20
StartLuxLabs/StartLux-Decision

Offene Entscheidungsmodelle von 0,8B bis 27B: eine kalibrierte Wahrscheinlichkeit für jede Option in einem Durchgang und nur bei Unsicherheit ein kurzer Gedankengang. Engine für vLLM, llama.cpp und MLX.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2026-09-29
21
intel/auto-round

Effizienz der Post-Training-Quantisierung, Genauigkeit der quantisierungsbewussten Trainingsmethode

intel
⭐ 1,706 Python 👤 intel Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-01-04
22
nobodywho-ooo/nobodywho

NobodyWho ist eine Inferenz-Engine, mit der Sie LLMs lokal und effizient auf jedem Gerät ausführen können.

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2024-09-03
23
LlamaEdge/LlamaEdge

Der einfachste und schnellste Weg, angepasste und fein abgestimmte LLMs lokal oder am Edge auszuführen

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Aktualisiert 2026-02-08 📅 Erstellt 2023-10-09
24
QwenAudio/Fun-ASR

Fun-ASR-Spracherkennungsmodelle mit nativer Unterstützung für Hugging Face Transformers für Fun-ASR-Nano sowie separaten Bereitstellungspfaden für FunASR, vLLM und llama.cpp.

QwenAudio
⭐ 1,614 C 👤 QwenAudio Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-12-15
25
kitops-ml/kitops

Ein Open-Source-DevOps-Tool der CNCF zum Verpacken und Versionieren von KI/ML-Modellen, Datensätzen, Code und Konfigurationen in ein OCI-Artefakt.

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-02-02
26
edwko/OuteTTS

Schnittstelle für OuteTTS-Modelle.

edwko
⭐ 1,440 Python 👤 edwko User 🕐 Aktualisiert 2026-03-23 📅 Erstellt 2024-11-04
27
synchopate/llama-modchip

GPU-freie CPU-Inferenz für 30B–284B-MoE-Modelle (Qwen3.8 176.5B mit kaltem Cache in Cgroup v2 bei 28,26/48,35 GiB zertifiziert, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-29
28
ciddwd/overlay-translator

Open-Source-Android-Übersetzer für den Echtzeit-Bildschirm ohne Root, geeignet für Spiele, Visual Novels und Manga. Unterstützt On-Device- und Cloud-OCR, Offline-LLMs, mehrere Übersetzungsdienste, Bildschirmübersetzungen und Text-to-Speech (TTS).

ciddwd
⭐ 1,369 Kotlin 👤 ciddwd User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-06-22
29
simplexai-labs/PolyStrata

Führen Sie große KI-Modelle auf Ihrem eigenen PC aus: Qwen3.8-Flash-Next mit der Engine von Strata sowie GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder und MiniCPM-V mit einer zweiten Engine, die für PolyStrata entwickelt wurde. Ein-Klick-Installation für Windows und Linux, mit OpenAI-/Anthropic-API auf localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-10-06
30
wici-ai/inferssd

Führe Modelle aus, die größer sind als dein RAM oder VRAM, indem du MoE-Experten von einer SSD streamst. Basiert auf llama.cpp.

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-10-22
31
Helldez/BigMoeOnEdge

Führe MoE-Modelle aus, die größer sind als dein RAM. MoE-Modelle der Spitzenklasse auf einem Smartphone, Laptop oder Edge-Gerät. Verlustfrei, mit unverändertem llama.cpp. Ein adaptiver Streaming-Optimierer. Jede Hardware, jedes Betriebssystem, jedes Modell und jede Quantisierung – über einen lokalen OpenAI-kompatiblen Server.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-07-10
32
jegly/Box

Die derzeit fortschrittlichste, vollständig offline arbeitende Client-seitige KI-Suite für Android.

jegly
⭐ 1,035 Kotlin 👤 jegly User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-17
33
sgaofen/humanizer-local-model

Schreibt KI-Entwürfe so um, dass sie wie von Menschen verfasst klingen – läuft lokal und bewahrt die Fakten

sgaofen
⭐ 1,010 Python 👤 sgaofen User 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2026-09-11
34
feder-cr/jev

jevos: eine Open-Source-Alternative zu Jev und Microsoft-Decision-1. Ja/Nein-Entscheidungen, Auswahlmöglichkeiten und Bewertungen mit Wahrscheinlichkeiten – auf der CPU Ihres Laptops.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 Aktualisiert 2026-10-18 📅 Erstellt 2024-08-15
35
alvarobartt/hf-mem

Ein CLI zur Schätzung des Speicherbedarfs für Inferenz bei Hugging Face Modellen, geschrieben in Python.

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-12-22
36
Valen-Team/Valen

Offene multimodale Entscheidungsmodelle mit 0,8B bis 27B Parametern für Text, Bilder und Videos. Treffen Sie Entscheidungen anhand von Wahrscheinlichkeiten für eigene Kandidaten und lokalisieren Sie Objekte mit Begrenzungsrahmen, statt Text zu generieren. Kostenlose API, ONNX, GGUF, vLLM und SGLang; Fine-Tuning-Code enthalten.

Valen-Team
⭐ 932 Python 👤 Valen-Team Organization 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2026-09-23
37
eastriverlee/LLM.swift

LLM.swift ist eine einfache und lesbare Bibliothek, die es Ihnen ermöglicht, problemlos mit großen Sprachmodellen lokal für macOS, iOS, watchOS, tvOS und visionOS zu interagieren.

eastriverlee
⭐ 883 Swift 👤 eastriverlee User 🕐 Aktualisiert 2026-07-19 📅 Erstellt 2023-12-02
38
mukel/llama3.java

Llama 3+ Inferenz in reinem Java

mukel
⭐ 818 Java 👤 mukel User 🕐 Aktualisiert 2026-04-24 📅 Erstellt 2024-04-25
39
SimpleBerry/LLaMA-O1

Große Sprachmodelle

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 Aktualisiert 2024-12-03 📅 Erstellt 2024-10-10
40
prabanta-dev/janas

37 tok/s mit Qwen3-Next-80B (48 GB) auf einem 32-GB-Laptop; 24 ohne Drafts gegenüber 2,8 mit llama.cpp; beim Lesen 62 gegenüber 16 tok/s. Schneller als llama.cpp bei allen 13 Modellen, die in Q4_K_M verglichen wurden. LLMs, die größer sind als dein RAM – pures C, für CPU oder GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-20
41
zhongkaifu/TensorSharp

Eine native .NET-Inferenz-Engine für große Sprachmodelle (LLMs) und eine Agenten-Laufzeitumgebung für GGUF-Modelle. TensorSharp bietet eine Konsolenanwendung, eine webbasierte Chatbot-Oberfläche, eine iPhone-App sowie mit Ollama/OpenAI kompatible HTTP-APIs für den programmgesteuerten Zugriff. Es unterstützt Windows, macOS, iOS und Linux mit vollständiger GPU-Unterstützung.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-04-03
42
hybridgroup/yzma

Mit eigener Intelligenz voran: Schreiben Sie Go-Anwendungen, die llama.cpp direkt integrieren, um unter Linux, macOS, Windows und WebAssembly lokale Inferenz mit Hardwarebeschleunigung durchzuführen.

hybridgroup
⭐ 677 Go 👤 hybridgroup Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-09-21
43
gokayfem/ComfyUI_VLM_nodes

ComfyUI-Nodes für Vision-Language-Modelle: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Sowie Open-Vocabulary-Erkennung, SAM2/SAM3-Segmentierung, zeitliche Videobetrachtung, GGUF via llama.cpp und gehostete LLM/VLM-APIs.

gokayfem
⭐ 592 Python 👤 gokayfem User 🕐 Aktualisiert 2026-08-08 📅 Erstellt 2024-01-24
44
kelindar/search

Go-Bibliothek für eingebettete Vektorsuche und semantische Embeddings mithilfe von llama.cpp

kelindar
⭐ 561 Go 👤 kelindar User 🕐 Aktualisiert 2026-09-19 📅 Erstellt 2024-09-29
45
StartLuxLabs/StartLux-Prism

Schnelle, exakte Inferenz für StartLux-Decision-Modelle auf NVIDIA-GPUs: Die veröffentlichten GGUF-Dateien laufen über die /v1/systemone-API auf int8- und 4-Bit-Tensor-Kernen und bieten in FP8 eine bis zu 5,3-mal geringere Latenz als vLLM bei bitidentischen Antworten.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Aktualisiert 2026-10-27 📅 Erstellt 2026-10-13
46
Indras-Mirror/Xolotl

Xolotl: Führe DeepSeek-V4.1-Flash mit allen 552B Parametern als lokalen Coding-Agent auf einem einzigen Gaming-PC aus (RTX 4090 + 110 GB RAM): ca. 33 Tok/s im Agentenmodus, ca. 41 im Schnellmodus, 512K Kontext. Dazu Inkling-2-Mini (Thinking Machines, eigene Engine + MTP-Entwurfsmodul), GLM-5.3-Flash, Qwen3.8 und LFM3-Omni. MoE-Experten werden stufenweise über VRAM, RAM und NVMe verteilt (Xolotl Direct). OpenAI- und Anthropic-API.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-06
47
dllm-labs/mojo-dllm

Lokale Inferenz für Diffusions-Sprachmodelle (LLaDA, Dream), in Mojo geschrieben

dllm-labs
⭐ 546 Python 👤 dllm-labs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-10-04
48
nyosegawa/speech.cpp

Sprachsynthese, Spracherkennung und Sprachaktivitätserkennung für Sprachkonversationen in C++ auf ggml: Qwen3-TTS, Irodori-TTS, Qwen3-ASR, ReazonSpeech, parakeet und Silero VAD auf Metal, Vulkan und der CPU, mit einem OpenAI-kompatiblen Server und Live-Transkription.

nyosegawa
⭐ 510 C++ 👤 nyosegawa User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-29
49
AudarAI/Audar-ASR-V1

Arabisch-fokussierte generative Spracherkennung — Audar-ASR-V1 (Flash + Turbo). Platz 1 auf der Open Universal Arabic ASR-Bestenliste. Modellkarten, Benchmarks & Inferenz.

AudarAI
⭐ 503 Python 👤 AudarAI Organization 🕐 Aktualisiert 2026-08-22 📅 Erstellt 2026-07-06
50
withcatai/catai

Führen Sie einen KI-✨-Assistenten lokal aus! Mit einer einfachen API für Node.js 🚀

withcatai
⭐ 500 TypeScript 👤 withcatai Organization 🕐 Aktualisiert 2025-11-16 📅 Erstellt 2023-03-25

Häufig gestellte Fragen

1

Welches ist das beliebteste #gguf-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#gguf-Projekt auf GitHub ist AlexsJones/llmfit mit 39,174 Sternen. Hunderte von Modellen & Anbietern. Ein Befehl, um zu finden, was auf deiner Hardware läuft.

2

Welche Programmiersprachen werden in #gguf-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #gguf-Projekten auf GitHub sind Python, C++, TypeScript, Rust die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #gguf-Repositories berechnet?

Wir verfolgen 49 aktive Open-Source-Repositories, die mit #gguf getaggt sind (500+ Sterne), mit insgesamt 165,186 Sternen und durchschnittlich 3,371 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.