#llm-inference Repositories
Insgesamt 202 Repositories
Blitzschnelle Inferenz-Engine für Apple Silicon, optimiert für Qwen und Nemotron. Kompatibel mit den APIs von OpenAI und Anthropic. Entwickelt vom Team von nace.ai
Vergleichen Sie kompatible Open-Source-LLM-Projekte für den lokalen Betrieb anhand ihrer Kennzahlen, um Popularität und Aktivität zu bewerten.
Open-Modelle der Spitzenklasse auf einer kostenlosen Kaggle-TPU v5e-8: GLM-5.3-Flash 320B MoE (~165 Tok/s, mit unserer eigenen JAX-Engine) und Qwen3.8-27B bf16 (~130 Tok/s), 262k Kontext und Präfix-Caching. Funktioniert mit Claude Code, Codex, opencode und pi.
Open-Source-SDK für lokale KI – führe KI direkt auf dem Gerät aus, ganz ohne Cloud und API-Schlüssel. Unterstützt GGUF, RAG, die Generierung von Bildern, Musik und Videos, Sprache-zu-Text, P2P-Inferenz und mehr. Plattformübergreifend: Linux, macOS, Windows, Android und iOS.
BitBLAS ist eine Bibliothek zur Unterstützung von Matrixmultiplikationen mit gemischter Präzision, insbesondere für die Bereitstellung von quantisierten LLMs.
Reine Rust + CUDA LLM-Inferenz-Engine — kein PyTorch, OpenAI-kompatibel, bedient Qwen3 bis Kimi-K2
Bis zu 4× schnelleres LLM-Decoding auf Apple Silicon, verlustfrei. Native MLX-Portierung des spekulativen Decodings DSpark von DeepSeek und DFlash von z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 und ternäres Bonsai-27B.
LLM-PowerHouse: Entfesseln Sie das Potenzial von LLMs durch kuratierte Tutorials, Best Practices und gebrauchsfertigen Code für benutzerdefiniertes Training und Inferenz.
USP: Einheitliche (auch Hybrid, 2D) Sequenzparallel-Attention für das Training und die Inferenz von Langkontext-Transformer-Modellen
Beschleunigen Sie Ihre Hugging Face Transformers um das 7,6- bis 9-fache. Nativ für Hugging Face und PyTorch.
Open-Weights-Sprachmodell von Google DeepMind, basierend auf Griffin.
Führen Sie ein 105-GB-KI-Modell auf einem Mac aus, auf dem es nicht vollständig Platz findet. Qwen3.8-Flash-Next in 4-Bit, gestreamt von einer SSD auf Apple-Silicon-Macs mit 16–64 GB Arbeitsspeicher. Vollständig nativ mit Swift, MLX und Metal. Offline, ohne Python. CLI, Swift-Bibliothek sowie Ollama-/OpenAI-/Anthropic-APIs. Funktioniert mit Claude Code und Codex.
Verwandeln Sie Ihr Android-Telefon in einen mit OpenAI kompatiblen LLM-Inferenzserver – vollständig lokal, privat und Open Source
Ollama-Alternative für Rockchip NPU: Eine effiziente Lösung zum Ausführen von KI- und Deep-Learning-Modellen auf Rockchip-Geräten mit optimierter NPU-Unterstützung (rkllm)
Minimalistische Websuchplattform mit einem KI-Assistenten, der direkt in Ihrem Browser läuft. Demo: https://felladrin-minisearch.hf.space
Selbstgehostetes KI-Agenten-Betriebssystem. Ihre Erinnerungen, Chats, Agenten und Dateien bleiben auf Ihrer eigenen Hardware – standardmäßig offline, Cloud optional. Bietet Offline-KI-Speicher (taOSmd), selbstgehosteten Multi-Framework-Gruppenchat, einen vollständigen Web-Desktop mit App-Store sowie automatisches Clustering über Ihre vorhandene Consumer-Hardware (Orange/Raspberry Pi, Mac mini, Gaming-PC).
Ein weiteres Sprachmodell: LLM-Inferenz in C++/CUDA, keine Bibliotheken außer I/O
Schulrekrutierung, Herbstrekrutierung, Frühlingsrekrutierung, tolle Praktika-Projekte, führen Sie von Null an bei der Umsetzung eines Large-Model-Inferenz-Frameworks, das Llama2/3 und Qwen2.5 unterstützt.
Moderne MoE-Modelle auf RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash auf 4 RTX PRO 6000, als GPU+CPU-Hybrid auf 4 RTX 5090 und 2-Bit-Experten auf vLLM v0.24.0
Eine Baumsuchebibliothek mit flexibler API für die Skalierung zur Inferenzzeit von LLMs
CLI zum parallelen Ausführen einer großen Anzahl von Coding-Agenten mit Git-Arbeitsbäumen
Schnelle, exakte Inferenz für StartLux-Decision-Modelle auf NVIDIA-GPUs: Die veröffentlichten GGUF-Dateien laufen über die /v1/systemone-API auf int8- und 4-Bit-Tensor-Kernen und bieten in FP8 eine bis zu 5,3-mal geringere Latenz als vLLM bei bitidentischen Antworten.
Statische, minimalistische, einzelne Charge, nur CUDA, qwen3-0.6B Mini-Inferenz-Engine
Yi-1.5 ist eine verbesserte Version von Yi und bietet eine stärkere Leistung in Bezug auf Codierung, Mathematik, logisches Denken und die Fähigkeit zur Befolgung von Anweisungen.
Xolotl: Führe DeepSeek-V4.1-Flash mit allen 552B Parametern als lokalen Coding-Agent auf einem einzigen Gaming-PC aus (RTX 4090 + 110 GB RAM): ca. 33 Tok/s im Agentenmodus, ca. 41 im Schnellmodus, 512K Kontext. Dazu Inkling-2-Mini (Thinking Machines, eigene Engine + MTP-Entwurfsmodul), GLM-5.3-Flash, Qwen3.8 und LFM3-Omni. MoE-Experten werden stufenweise über VRAM, RAM und NVMe verteilt (Xolotl Direct). OpenAI- und Anthropic-API.
[ICLR 2025] DuoAttention: Effiziente Langkontext-LLM-Inferenz mittels Retrieval- und Streaming-Heads
Eine sorgfältig zusammengestellte Liste von Tools für Jev – das System-One-Modell von TypeSafe AI für typisierte Entscheidungen.
Krasis ist eine hybride LLM-Laufzeitumgebung, die sich auf die effiziente Ausführung größerer Modelle auf Consumer-Hardware mit begrenztem VRAM konzentriert
Open Model Engine (OME) — Kubernetes-Operator für das Bereitstellen von LLM-Diensten, die GPU-Planung und das Management des Modelllebenszyklus. Unterstützt SGLang, vLLM, TensorRT-LLM und Triton
Lerne Schritt für Schritt die Inferenztechnik für LLMs – vom KV-Cache, PagedAttention und kontinuierlichem Batching bis hin zu vLLM, SGLang und GPUs.
KVarN ist ein natives vLLM-Backend zur Quantisierung des KV-Caches für Ihre Agenten: 3–5× mehr Kontext, ein höherer Durchsatz als bei FP16 und eine Genauigkeit auf FP16-Niveau. Keine Kalibrierung, nur ein Flag.
Entwerfen, führen und analysieren Sie die Ergebnisse KI-gestützter Umfragen und Experimente. Simulieren Sie sozialwissenschaftliche Forschung und Marktforschung mit großen Mengen an KI-Agenten und großen Sprachmodellen.