#llm-inference Repositories
Insgesamt 202 Repositories
Eine leichtgewichtige, abhängigkeitsarme, einheitliche API zur Verwendung aller gängigen Rewriting- und Cross-Encoder-Modelle.
Eine leistungsstarke Inferenz-Engine für LLM-, VLM- und DiT-Modelle, optimiert für verschiedene KI-Beschleuniger. Sie wird von der OpenAtom Foundation gehostet.
Open-Source-Builds für KI-Computer, von Desktop-PCs mit 2 GPUs bis zu Servern mit 8 GPUs: CAD, Stückliste, BIOS und Bauanleitungen. Hol dir das Gehäuse-Kit mit PCIe-Risern oder bitte uns um eine kostenlose Passformprüfung.
[ICML 2023] SmoothQuant: Genauer und effizienter Post-Training-Quantisierung für große Sprachmodelle
Startseite für "How To Scale Your Model", ein kurzes, blogartiges Lehrbuch über die Skalierung von LLMs auf TPUs
Der offizielle API-Server für Exllama. OAI-kompatibel, leichtgewichtig und schnell.
Liste von Software, die die Websuche mit Hilfe von KI ermöglicht: https://hf.co/spaces/felladrin/awesome-ai-web-search
Führen Sie lokale LLMs wie llama, deepseek-distill, kokoro und mehr in Ihrem Browser aus
Eine kuratierte Sammlung erstklassiger Penetrationstest-Tools und Produktivitätswerkzeuge in verschiedenen Domänen. Treten Sie uns bei, um Ihr Hacking-Toolkit zu erkunden, beizutragen und zu erweitern!
📰 Lesenswertes: Publikationen und Blogs zu Speculative Decoding ⚡️
Führe Modelle aus, die größer sind als dein RAM oder VRAM, indem du MoE-Experten von einer SSD streamst. Basiert auf llama.cpp.
Ein 10-Wochen-Plan mit 30 Minuten täglich für das Bereitstellen und Optimieren von LLM-Inferenz. vLLM, SGLang, Quantisierung, spekulatives Decoding und Benchmarking.
Baue deine eigene Hochleistungs-LLM-Inferenz-Engine in C++ und CUDA - eine kleinere Version von vLLM
Dein iPhone unterstützt deinen Mac beim Ausführen eines 27B-Modells: schnelleres Einlesen von Prompts und mehr Kontext über ein USB-C-Kabel
Strafft und vereinfacht die Prompt-Gestaltung für Entwickler und technisch nicht versierte Benutzer mit einem Low-Code-Ansatz.
Checkpoint-engine ist eine einfache Middleware zur Aktualisierung von Modellgewichten in LLM-Inferenz-Engines
OpenAlpha_Evolve ist ein Open-Source-Python-Framework, das von der bahnbrechenden Forschung an autonomen Coding-Agenten wie DeepMinds AlphaEvolve inspiriert ist.
"AI-Compass" wird der Community die Richtung vorgeben, wie sie im Ozean der KI-Technologien navigiert. Ob Sie Anfänger oder fortgeschrittener Entwickler sind, hier finden Sie Wege zu allen wichtigen KI-Entwicklungen. Ziel ist es, Entwicklern zu helfen, KI’s zentrale Konzepte, Haupttechnologien und Zukunftstrends systematisch zu verstehen und durch Praxis den gesamten Prozess vom Theoriebereich bis hin zur Umsetzung zu beherrschen.
jevos: eine Open-Source-Alternative zu Jev und Microsoft-Decision-1. Ja/Nein-Entscheidungen, Auswahlmöglichkeiten und Bewertungen mit Wahrscheinlichkeiten – auf der CPU Ihres Laptops.
Reine C++-Implementierung mehrerer Modelle für Echtzeit-Chat auf Ihrem Computer (CPU & GPU)
LeaderWorkerSet & DisaggregatedSet: Kubernetes-APIs für verteiltes und disaggregiertes KI-Serving
Eine hochoptimierte LLM-Inferenzbeschleunigungs-Engine für Llama und seine Varianten.
LLM-Notizen, einschließlich Modellinferenz, Transformer-Modellstruktur und Notizen zur Analyse von LLM-Framework-Code.
LLM.swift ist eine einfache und lesbare Bibliothek, die es Ihnen ermöglicht, problemlos mit großen Sprachmodellen lokal für macOS, iOS, watchOS, tvOS und visionOS zu interagieren.