#quantization Repositories
Insgesamt 109 Repositories
Schnelle, exakte Inferenz für StartLux-Decision-Modelle auf NVIDIA-GPUs: Die veröffentlichten GGUF-Dateien laufen über die /v1/systemone-API auf int8- und 4-Bit-Tensor-Kernen und bieten in FP8 eine bis zu 5,3-mal geringere Latenz als vLLM bei bitidentischen Antworten.
Vom Lehrer zu Kacheln — eine von Grund auf neu entwickelte LLM-Destillations- und Serving-Engine: benutzerdefinierte Triton/CUDA-Kernel, FSDP-Destillation, kontinuierliches Batching mit paged-KV, spekulative Dekodierung, ein Rust-Gateway, ein JAX-Orakel und Interpretierbarkeitswerkzeuge.
Xolotl: Führe DeepSeek-V4.1-Flash mit allen 552B Parametern als lokalen Coding-Agent auf einem einzigen Gaming-PC aus (RTX 4090 + 110 GB RAM): ca. 33 Tok/s im Agentenmodus, ca. 41 im Schnellmodus, 512K Kontext. Dazu Inkling-2-Mini (Thinking Machines, eigene Engine + MTP-Entwurfsmodul), GLM-5.3-Flash, Qwen3.8 und LFM3-Omni. MoE-Experten werden stufenweise über VRAM, RAM und NVMe verteilt (Xolotl Direct). OpenAI- und Anthropic-API.
Beeindruckende Forschungspapiere zur Komprimierung von Machine-Learning-Modellen, Quantisierung, Tools und Lernmaterialien.
Offline-semantische Text-zu-Bild- und Bild-zu-Bild-Suche auf Android, angetrieben durch ein quantisiertes, hochmodernes, vortrainiertes CLIP-Modell und die ONNX Runtime-Inferenz-Engine
KVarN ist ein natives vLLM-Backend zur Quantisierung des KV-Caches für Ihre Agenten: 3–5× mehr Kontext, ein höherer Durchsatz als bei FP16 und eine Genauigkeit auf FP16-Niveau. Keine Kalibrierung, nur ein Flag.
Vollständig unzensierte, fähigkeitserweiterte Ablation von Qwen3.6-27B. NVFP4 + z-lab DFlash Speculative Decoding (n=12) im einheitlichen Container ghcr.io/aeon-7/aeon-vllm-ultimate:latest, optimiert für die Akzeptanz von Entwürfen bei langen Kontexten auf DGX Spark. 6 HF-Varianten (BF16/NVFP4/MTP/MTP-XS), docker-compose und QuickStart.