#inference Repositories
Insgesamt 144 Repositories
CubeStudio ist eine Open-Source-Cloud-native All-in-One-Plattform für maschinelles Lernen/Deep Learning/Großmodell-KI/MaaS/MLOps/KI-Plattform/Trainings- und Inferenzplattform, die den gesamten Algorithmus-Pipeline, Multi-Tenancy, Rechenleistungsvermietungsplattform, Token-Relay, Drag-and-Drop-Aufgabenfluss-Pipeline-Orchestrierung, Multi-Maschine-Multi-Karte verteiltes Training, Hyperparametersuche, Inferenzdienste, VGPU-Virtualisierung, Cloud-Edge-Gerät-Kooperation, Edge Computing, automatisierte Annotationsplattform, SFT-Feintuning/Belohnungsmodell/Verstärkungslernen-Training für große Modelle wie DeepSeek, Multi-Maschine-Inferenz für große Modelle mit vLLM/Ollama/MindIE, private Wissensdatenbank-LLMOps-Agenten, KI-Modellmarkt, Unterstützung für nationale heterogene Rechenleistungsplanung (Ascend, Cambricon, Hygon, Moore Threads, Muxi usw.), Unterstützung für IB/RoCE/RDMA und Xinchuang-Unterstützung umfasst.
Native LLM-Inferenzserver für Apple Silicon. Kompatibel mit den APIs von OpenAI und Anthropic. Ohne Python. macOS-App mit Zig-Backend und Swift-Frontend für die Generierung von Chats, Musik, Sprache und Videos.
Hocheffiziente Gleitkomma-Neuronale-Netzwerk-Inferenzoperatoren für Mobilgeräte, Server und Web
Verwandeln Sie jeden Computer oder jedes Edge-Gerät in ein Kommandozentrum für Ihre Computer-Vision-Projekte.
Verwaltet vereinheitlichten Zugriff auf generative KI-Dienste, die auf Envoy Gateway aufgebaut sind
Eine einheitliche Orchestrierungsschicht für heterogene KI-Rechenressourcen. Sie standardisiert die Verwaltung von Rechenressourcen sowie die Ausführung von Training und Inferenz in GPU-Clouds, Kubernetes, virtuellen Maschinen oder Bare-Metal-Clustern.
Führe ein LLM mit 1 Milliarde Parametern auf einem $10-Board mit 256 MB RAM aus.
MII ermöglicht latenzarme und hochleistungsfähige Inferenz, angetrieben von DeepSpeed.
Offene Entscheidungsmodelle von 0,8B bis 27B: eine kalibrierte Wahrscheinlichkeit für jede Option in einem Durchgang und nur bei Unsicherheit ein kurzer Gedankengang. Engine für vLLM, llama.cpp und MLX.
Routen, verwalten und analysieren Sie Ihre LLM-Anfragen über mehrere Anbieter hinweg mit einer einheitlichen API-Schnittstelle.
Effizienter, skalierbarer und unternehmenstauglicher CPU/GPU-Inferenzserver für 🤗 Hugging Face Transformer-Modelle 🚀
Die Open-Source-Inferenz-Engine für LLMs auf AWS Trainium: NKI-Megakerne, 1-Million-Token-Kontext und OpenAI-kompatible API. Von RunAnywhere.
Eine leistungsstarke Inferenz-Engine für LLM-, VLM- und DiT-Modelle, optimiert für verschiedene KI-Beschleuniger. Sie wird von der OpenAtom Foundation gehostet.
DELTA ist eine auf Deep Learning basierende Plattform zur Verarbeitung natürlicher Sprache und Sprache. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/
NVIDIA-GPU-Exporter für Prometheus unter Verwendung der nvidia-smi-Binärdatei ODER von NVML
eine schnelle und benutzerfreundliche Laufzeitumgebung für Transformer-Inferenz (Bert, Albert, GPT2, Decoders usw.) auf CPU und GPU.
Agenten-Skill zur schrittweisen Optimierung der lokalen LLM-Bereitstellungsgeschwindigkeit (Decoding, spekulatives Decoding, Prefill, KV, Start, TTFT) auf beliebiger Hardware und mit beliebiger Quantisierung
Stellen Sie einen ML-Inferenzdienst mit einem knappen Budget in weniger als 10 Codezeilen bereit.
Hochperformante, modulare, speichersichere und produktionsreife Inferenz, Aufnahme und Indizierung in Rust 🦀
Qualcomm® AI Hub Models ist unsere Sammlung hochmoderner Modelle des maschinellen Lernens, die für optimale Leistung (Latenz, Speicher usw.) optimiert und zur Bereitstellung auf Qualcomm®-Geräten bereit sind.
Paket für kausale Inferenz in Graphen und in paarweisen Einstellungen. Tools für die Erholung der Graphstruktur und Abhängigkeiten sind enthalten.
Verteilen und Ausführen von KI-Workloads auf Kubernetes auf magische Weise in Python, wie PyTorch für die ML-Infrastruktur.
Baue deine eigene Hochleistungs-LLM-Inferenz-Engine in C++ und CUDA - eine kleinere Version von vLLM
KI-Modelle ausführen, bereitstellen, abfragen und bearbeiten – eine auf VINDEX3 basierende Rust-Modelllaufzeitumgebung. VINDEX3 ist ein ausführbares, inspizierbares Modellformat.
Ein Leseleitfaden zur CPU-Leistungsoptimierung – von einer einzelnen Instruktion bis zur Inferenz in der Produktion. Ausschließlich Primärquellen, mit einem ausführbaren Benchmark für jeden Abschnitt.
Führe Laya, das quelloffene und Jev-kompatible System-1-Entscheidungsmodell, über ONNX Runtime aus Node.js / TypeScript aus
Führe MoE-Modelle aus, die größer sind als dein RAM. MoE-Modelle der Spitzenklasse auf einem Smartphone, Laptop oder Edge-Gerät. Verlustfrei, mit unverändertem llama.cpp. Ein adaptiver Streaming-Optimierer. Jede Hardware, jedes Betriebssystem, jedes Modell und jede Quantisierung – über einen lokalen OpenAI-kompatiblen Server.
MLX Studio – Die einfachste Möglichkeit, LLMs auf deinem Mac auszuführen. Eine All-in-One-Engine.
Ein skalierbarer Inferenz-Server für mit OpenVINO™ optimierte Modelle
Bolt ist eine Deep-Learning-Bibliothek mit hoher Leistung und heterogener Flexibilität.