#llama-cpp Repositories
Insgesamt 69 Repositories
llama.cpp auf einer jailbreakten PS5: Beliebige GGUF-Modelle nativ auf der Konsole ausführen – beginnend mit Qwen 3.8
Blitzschnelle Inferenz-Engine für Apple Silicon, optimiert für Qwen und Nemotron. Kompatibel mit den APIs von OpenAI und Anthropic. Entwickelt vom Team von nace.ai
Orion-14B ist eine Modellfamilie, die ein 14B-Foundation-LLM und eine Reihe von Modellen umfasst: ein Chat-Modell, ein Modell für langen Kontext, ein quantisiertes Modell, ein RAG-feinabgestimmtes Modell und ein Agent-feinabgestimmtes Modell. Die Orion-14B-Modellreihe umfasst ein Basis-LLM mit 14 Milliarden Parametern sowie eine Reihe verwandter abgeleiteter Modelle, die Dialogmodelle, Langtextmodelle, quantisierte Modelle, RAG-feinabgestimmte Modelle, Agent-feinabgestimmte Modelle usw. umfassen.
Führen Sie jeden Agenten auf jedem Modell aus; die Modelle werden als OCI-Images gespeichert
ComfyUI-Nodes für Vision-Language-Modelle: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Sowie Open-Vocabulary-Erkennung, SAM2/SAM3-Segmentierung, zeitliche Videobetrachtung, GGUF via llama.cpp und gehostete LLM/VLM-APIs.
Ein intelligenter Codierungsassistent-Plugin für Visual Studio Code, entwickelt auf Basis von CodeShell
Open-Source-Multi-Modell-KI-Chatclient mit eigenem API-Schlüssel (BYOK) für iOS, Android und das Web. Ein LLM-Client für OpenAI, Anthropic, Google Gemini, OpenRouter, DeepSeek und zehn weitere Anbieter sowie jeden mit OpenAI, Anthropic oder Gemini kompatiblen Endpunkt — Ollama, LM Studio, llama.cpp, vLLM. Lokal orientiert, selbst hostbar, kein Konto erforderlich. AGPL-3.0.
sparkrun – LLM-Inferenz-Workloads auf NVIDIA-DGX-Spark-Systemen starten, verwalten und stoppen. Live-Support: https://discord.com/invite/GH5kRgv6ZD
Eine einfachere Möglichkeit, KI auf dem eigenen Computer zu nutzen. Eine kostenlose Open-Source-Alternative zu Claude und ChatGPT, die Modelle mit offenen Gewichten wie Gemma und gpt-oss lokal auf Mac, Windows und Linux ausführt. Privat und offline nutzbar.
GraphRAG-rs ist eine leistungsstarke, hochmoderne Rust-Implementierung von GraphRAG (Graph-basierte Retrieval Augmented Generation), die Wissensgraphen aus Dokumenten erstellt und natürliche Sprachabfragen mit konfigurierbarer Entitätsextraktion und lokaler LLM-Integration ermöglicht
Lokal priorisierte Full-Stack-KI-Kreativwerkstatt: fünf Module – KI-Chat, KI-Comics, Comic-Drama-Erstellung, Schreibbereich und Wissenslernen; lokale Inferenz mit mehreren Engines (vLLM / llama.cpp / Transformers), intelligente VRAM-Verwaltung, Bulkhead-Isolierung und Selbstheilung. Nur zu Lernzwecken; Austausch und Hinweise sind willkommen. (Aufgrund von Protokollbeschränkungen können die neuesten Fortschritte – mit Ausnahme des Plugin-Systems – derzeit nicht in das Repository übernommen werden.)
Eine vollständig in Rust entwickelte Inferenz-Engine für LLMs, VLMs, VLAs, TTS und OCR, angetrieben von Candle und Rust. Eine Alternative zu llama.cpp, die viel einfacher und übersichtlicher ist.
Arabisch-fokussierte generative Spracherkennung — Audar-ASR-V1 (Flash + Turbo). Platz 1 auf der Open Universal Arabic ASR-Bestenliste. Modellkarten, Benchmarks & Inferenz.
Führen Sie einen KI-✨-Assistenten lokal aus! Mit einer einfachen API für Node.js 🚀