Git Stars Git Stars

#quantization 仓库

109
仓库总数
487,465
总星标数
4,472
平均每个仓库星标数

共 109 个仓库

101
StartLuxLabs/StartLux-Prism

在 NVIDIA GPU 上对 StartLux-Decision 模型进行快速、精确推理:已发布的 GGUF 文件通过 /v1/systemone API 使用 int8 和 4 位张量核心运行,在 FP8 下延迟比 vLLM 最高降低 5.3 倍,且答案逐位一致。

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 已更新 2026-10-27 📅 创建时间 2026-10-13
102
zengxiao-he/tessera

从教师到瓦片——一个从头构建的LLM蒸馏与推理引擎:自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理、推测解码、Rust网关、JAX预言机以及可解释性工具。

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 已更新 2026-10-09 📅 创建时间 2026-06-05
103
Indras-Mirror/Xolotl

Xolotl:在一台游戏 PC(RTX 4090 + 110 GB RAM)上,将完整的 552B 参数 DeepSeek-V4.1-Flash 作为本地编程代理运行:代理模式约 33 tok/s,快速模式约 41 tok/s,支持 512K 上下文。此外还有 Inkling-2-Mini(Thinking Machines,自有引擎 + MTP 草拟器)、GLM-5.3-Flash、Qwen3.8、LFM3-Omni。MoE 专家分层部署于 VRAM、RAM 和 NVMe 之间(Xolotl Direct)。支持 OpenAI + Anthropic API。

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 已更新 2026-11-21 📅 创建时间 2026-10-06
104
cedrickchee/awesome-ml-model-compression

精彩的机器学习模型压缩研究论文、量化、工具和学习材料。

cedrickchee
⭐ 540 👤 cedrickchee User 🕐 已更新 2024-09-21 📅 创建时间 2018-12-06
105
NVlabs/qerl

[ICLR 2026] QeRL 使 32B LLM 在单个 H100 GPU 上实现 RL。

NVlabs
⭐ 527 Python 👤 NVlabs Organization 🕐 已更新 2026-11-16 📅 创建时间 2025-09-22
106
slavabarkov/tidy

基于量化最先进视觉-语言预训练CLIP模型和ONNX Runtime推理引擎的Android离线语义文本到图像和图像到图像搜索

slavabarkov
⭐ 525 Kotlin 👤 slavabarkov User 🕐 已更新 2024-03-28 📅 创建时间 2023-02-24
107
huawei-csl/KVarN

KVarN 是专为您的智能体打造的原生 vLLM KV 缓存量化后端:上下文容量提升 3–5 倍,吞吐量超越 FP16,精度达到 FP16 级别。无需校准,只需一个参数。

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 已更新 2026-06-22 📅 创建时间 2026-05-29
108
turboderp-org/exui

ExLlamaV2 的 Web UI

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 已更新 2025-02-05 📅 创建时间 2023-10-29
109
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

完全不受审查、增强能力的 Qwen3.6-27B 消融版。基于统一的 ghcr.io/aeon-7/aeon-vllm-ultimate:latest 容器,采用 NVFP4 + z-lab DFlash 推测解码(n=12),针对 DGX Spark 上的长上下文草稿接受率进行了调优。提供 6 个 HF 变体(BF16/NVFP4/MTP/MTP-XS)、docker-compose 和快速入门指南。

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 已更新 2026-11-13 📅 创建时间 2026-04-25