#quantization 仓库
共 109 个仓库
在 NVIDIA GPU 上对 StartLux-Decision 模型进行快速、精确推理:已发布的 GGUF 文件通过 /v1/systemone API 使用 int8 和 4 位张量核心运行,在 FP8 下延迟比 vLLM 最高降低 5.3 倍,且答案逐位一致。
从教师到瓦片——一个从头构建的LLM蒸馏与推理引擎:自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理、推测解码、Rust网关、JAX预言机以及可解释性工具。
Xolotl:在一台游戏 PC(RTX 4090 + 110 GB RAM)上,将完整的 552B 参数 DeepSeek-V4.1-Flash 作为本地编程代理运行:代理模式约 33 tok/s,快速模式约 41 tok/s,支持 512K 上下文。此外还有 Inkling-2-Mini(Thinking Machines,自有引擎 + MTP 草拟器)、GLM-5.3-Flash、Qwen3.8、LFM3-Omni。MoE 专家分层部署于 VRAM、RAM 和 NVMe 之间(Xolotl Direct)。支持 OpenAI + Anthropic API。
KVarN 是专为您的智能体打造的原生 vLLM KV 缓存量化后端:上下文容量提升 3–5 倍,吞吐量超越 FP16,精度达到 FP16 级别。无需校准,只需一个参数。
完全不受审查、增强能力的 Qwen3.6-27B 消融版。基于统一的 ghcr.io/aeon-7/aeon-vllm-ultimate:latest 容器,采用 NVFP4 + z-lab DFlash 推测解码(n=12),针对 DGX Spark 上的长上下文草稿接受率进行了调优。提供 6 个 HF 变体(BF16/NVFP4/MTP/MTP-XS)、docker-compose 和快速入门指南。