#quantization 仓库
探索 109 个标记为 #quantization 的活跃开源 GitHub 仓库,它们累计获得 487,465 个 Star(平均每个项目 4,472 个)。该主题的领先项目是 hiyouga/LlamaFactory,拥有 76,171 个 Star。
共 109 个仓库
[🔥更新中 ...] AI 自动量化交易机器人(完全本地部署) AI驱动的量化投资研究平台。 📃 在线文档: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant
一个拥有 2.78 万亿参数的 Kimi K3 模型,在单核 CPU 和 8.24 GB 内存下运行推理。可移植 C99 代码:无 BLAS,无框架,无 GPU。
基于nanoGPT的LLaMA语言模型实现。支持flash attention,Int8和GPTQ 4bit量化,LoRA和LLaMA-Adapter微调,预训练。Apache 2.0许可。
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] 量化注意力(Quantized Attention)相比 FlashAttention 实现了 2-5 倍的加速,同时在语言、图像和视频模型上没有损失端到端指标。
使用易于使用的硬件优化工具,加速 🤗 Transformers, Diffusers, TIMM 和 Sentence Transformers 的推理和训练
在您自己的 GPU 上运行 GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)和 Hy4-Flash(220B)——最低仅需 8 GB 显存,支持 NVIDIA 和 AMD,统一仪表板,并提供兼容 OpenAI 和 Anthropic 的 API。
在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。
最先进(SOTA)的低位LLM量化(INT8/FP8/MXFP8/INT4/MXFP4/NVFP4)和稀疏性;在PyTorch、TensorFlow和ONNX Runtime上领先的模型压缩技术
构建、个性化和控制您自己的 LLM。从数据预处理到微调,xTuring 提供了一种轻松个性化开源 LLM 的方法。加入我们的 Discord 社区:https://discord.gg/TgHXuSJEk6
micronet,一个模型压缩和部署库。压缩:1、量化:量化感知训练(QAT),高位(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、低位(≤2b)/三元和二元(TWN/BNN/XNOR-Net);后训练量化(PTQ),8位(tensorrt);2、剪枝:正常、规则和组卷积通道剪枝;3、组卷积结构;4、批量归一化融合用于量化。部署:tensorrt, fp32/fp16/in
ICLR 2023 论文“GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers”的代码。
常见问题解答
GitHub 上最受欢迎的 #quantization 仓库是什么?
GitHub 上排名第一的开源 #quantization 项目是 hiyouga/LlamaFactory,拥有 76,171 个 Star。100+ LLM与VLM的统一高效微调 (ACL 2024)
#quantization 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #quantization 项目中,最常见的编程语言是 Python, C++, Jupyter Notebook, C。
#quantization 仓库的排名是如何计算的?
我们跟踪了 109 个标记为 #quantization 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 487,465 个 Star,平均每个仓库拥有 4,472 个 Star。排名每日根据 GitHub API 更新。