#cuda 仓库
共 325 个仓库
面向 Rust 的 NVIDIA CUDA 平台。提供主机端运行时 crate,以及以地道 Rust 实现的 Tile(cutile-rs)和 SIMT(cuda-oxide)内核编程模型。
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] 量化注意力(Quantized Attention)相比 FlashAttention 实现了 2-5 倍的加速,同时在语言、图像和视频模型上没有损失端到端指标。
一个用于在 NVIDIA GPU 上加速 Transformer 模型的库,包括在 Hopper、Ada 和 Blackwell GPU 上使用 8 位和 4 位浮点 (FP8 和 FP4) 精度,以在训练和推理中提供更佳性能和更低内存占用。
在您自己的 GPU 上运行 GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)和 Hy4-Flash(220B)——最低仅需 8 GB 显存,支持 NVIDIA 和 AMD,统一仪表板,并提供兼容 OpenAI 和 Anthropic 的 API。
在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。
本地 AI 歌曲生成器,附可编辑乐谱——在你的 GPU 上运行 YuE2:生成带人声的完整歌曲、乐谱和翻唱,并可精确重放。原生 Windows 应用,无需 Python,安装程序支持自动更新。
SGLang x Datawhale 官方大语言模型推理课程:理解推理原理,从零构建一个迷你版 SGLang,然后阅读真正的 SGLang 源码并提交你的第一个 PR。课程提供英文和中文版本。
label-smooth, amsoftmax, partial-fc, focal-loss, triplet-loss, lovasz-softmax。可能有用
ICLR 2023 论文“GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers”的代码。
通过 CrossGL IR,在 GLSL、HLSL、Metal、SPIR-V、Slang、CUDA 和 HIP 之间转换 GPU 着色器和计算内核,并将它们转换为 WGSL