#cuda 仓库
共 325 个仓库
为 Claude Code 和任何 MCP 客户端提供本地 AI 背景音乐和音效。在 Apple Silicon(MLX)和 Windows NVIDIA GPU(PyTorch)上运行 Stable Audio 3。无需云服务,无需 API 密钥。
一个应用程序和指南,用于轻松配置 Windows、Linux、macOS、Google TV、Stremio、Home Assistant 等(包括 WSL2、GPU 驱动程序和开发工具)。提升您的 UX 和生产力。
面向 GGUF 模型的原生 .NET 大语言模型推理引擎和智能体运行时。TensorSharp 提供控制台应用、基于 Web 的聊天机器人界面、iPhone 应用,以及兼容 Ollama/OpenAI 的 HTTP API,支持以编程方式访问。它支持 Windows、macOS、iOS 和 Linux,并具备完整的 GPU 能力。
用你自己的智能前行——编写 Go 应用,直接集成 llama.cpp,在 Linux、macOS、Windows 和 WebAssembly 上利用硬件加速进行本地推理。
nvCOMP 文档和示例的仓库。nvCOMP 是一个用于在 GPU 上进行快速无损压缩/解压缩的库,可从 https://developer.nvidia.com/nvcomp 下载。
NVIDIA NVSHMEM 是基于 OpenSHMEM 的 NVIDIA GPU 并行编程接口。NVSHMEM 通过允许程序员在 CUDA 内核内部和 CUDA 流上执行单边通信,大幅减少多进程通信和协调开销。
在Linux上使用NVIDIA GPU的显存作为交换空间。专为内存焊接且无法升级的笔记本电脑设计。如果你有一块闲置的8GB显存RTX显卡,而系统正在将数据交换到SSD,这个工具能让显存发挥作用。
RTX PRO 6000 / RTX 5090 (sm_120) 上的前沿 MoE 模型:在 4 张 RTX PRO 6000 上运行 DeepSeek-V4.1-Flash、在 4 张 RTX 5090 上采用 GPU+CPU 混合方案,以及在 vLLM v0.24.0 上运行 2 位专家模型
官方实现在线即时重建,用于从无姿态图像生成大规模新视角的合成。A. Meuleman, I. Shah, A. Lanvin, B. Kerbl, G. Drettakis, ACM TOG (proc. SIGGRAPH) 2025
在 NVIDIA GPU 上对 StartLux-Decision 模型进行快速、精确推理:已发布的 GGUF 文件通过 /v1/systemone API 使用 int8 和 4 位张量核心运行,在 FP8 下延迟比 vLLM 最高降低 5.3 倍,且答案逐位一致。
从教师到瓦片——一个从头构建的LLM蒸馏与推理引擎:自定义Triton/CUDA内核、FSDP蒸馏、分页KV连续批处理、推测解码、Rust网关、JAX预言机以及可解释性工具。