#quantization 仓库
共 109 个仓库
零 GPU、纯 CPU 推理,支持 30B–284B MoE 模型(Qwen3.8 176.5B 已在 28.26/48.35 GiB 的 Cgroup v2 冷缓存环境中通过认证、DeepSeek-V4 284B、Nemotron-30B)+ RouteCrack 2.0。
LLM 模型量化(压缩)工具包,通过 HF、vLLM 和 SGLang 支持 Nvidia CUDA、AMD ROCm、Intel XPU、Tenstorrent、华为昇腾 NPU,以及 Intel/AMD/Apple CPU 的硬件加速。
Z80-μLM 是一个 2 位量化的语言模型,小到足以在 8 位 Z80 处理器上运行。使用 Python 训练对话模型,将其导出为 CP/M .COM 二进制文件,并与您的老式计算机聊天。
一个将 ONNX 文件转换为 LiteRT/TFLite/TensorFlow、PyTorch 原生代码 (nn.Module)、TorchScript (.pt)、state_dict (.pt)、Exported Program (.pt2) 和 Dynamo ONNX 的工具。它还支持从 LiteRT 直接转换为 PyTorch。
[NeurIPS 2020] MCUNet: 物联网设备上的超小型深度学习;[NeurIPS 2021] MCUNetV2: 超小型深度学习的内存高效块状推理;[NeurIPS 2022] MCUNetV3: 256KB内存下的设备端训练
ICML 2023 论文“SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot”的代码。
[MLSys'25] QServe: 针对高效 LLM 推理的 W4A8KV4 量化与系统协同设计;[MLSys'25] LServe: 使用统一稀疏注意力实现高效长序列 LLM 推理
使用 PyTorch、Triton 和 CUDA 实践大模型算法与系统。《大模型算法与系统教程》涵盖模型架构与训练、后训练、推理加速、性能与算子优化,并配套 Notebook 练习、答案解析、测试与实验。
[EMNLP 2024 & AAAI 2026] 一个强大的工具包,用于压缩包括大型语言模型(LLMs)、大型视觉语言模型(VLMs)和视频生成模型在内的大型模型。
在一台 32 GB 笔记本电脑上运行 Qwen3-Next-80B(48 GB),速度可达 37 tok/s;不使用草稿解码时为 24 tok/s,而 llama.cpp 为 2.8 tok/s;读取速度为 62 tok/s 对 16 tok/s。在 Q4_K_M 下对比的全部 13 个模型中,速度都快于 llama.cpp。运行比内存更大的 LLM,纯 C 实现,支持 CPU 或 GPU。
面向 AI 秋招的中英双语 ML / LLM / diffusion / agent 面试速查表——由 ARIS /interview-cheatsheet 生成,通过 /render-html 渲染为可随处阅读的单文件 HTML——另有经 CV→DBLP 事实核查的学术主页生成器,以及亲自撰写的长篇博客 🌱