#llm-inference 仓库
共 202 个仓库
为 Qwen 和 Nemotron 优化的极速 Apple Silicon 推理引擎。兼容 OpenAI 和 Anthropic API。由 nace.ai 团队打造。
在免费的 Kaggle TPU v5e-8 上运行前沿级开源模型:GLM-5.3-Flash 320B MoE(约 165 token/秒,采用我们自研的 JAX 引擎)和 Qwen3.8-27B bf16(约 130 token/秒),支持 262K 上下文和前缀缓存。可与 Claude Code、Codex、opencode 和 pi 配合使用。
开源本地 AI SDK——无需云端和 API 密钥,即可在设备上运行 AI。支持 GGUF、RAG、图像、音乐和视频生成、语音转文字、P2P 推理等功能。跨平台支持:Linux、macOS、Windows、Android、iOS。
纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型
在 Apple Silicon 上实现最高 4 倍速的 LLM 解码,且无损。DeepSeek 的 DSpark 和 z-lab 的 DFlash 推测解码的原生 MLX 移植版——支持 Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0 以及三值 Bonsai-27B。
LLM-PowerHouse:通过精选的教程、最佳实践和即用型代码,释放 LLM 的潜力,以实现自定义训练和推理。
在无法容纳 105 GB 模型的 Mac 上运行它。Qwen3.8-Flash-Next 4-bit,可从 SSD 流式加载,在配备 16–64 GB 内存的 Apple Silicon Mac 上运行。完全采用原生 Swift、MLX 和 Metal。离线运行,无需 Python。提供 CLI、Swift 库以及 Ollama/OpenAI/Anthropic API。兼容 Claude Code 和 Codex。
Rockchip NPU 的 Ollama 替代方案:用于在 Rockchip 设备上运行 AI 和深度学习模型的高效解决方案,优化了 NPU 支持(rkllm)
自托管 AI 智能体操作系统。您的记忆、聊天记录、智能体和文件都存储在您拥有的硬件上,默认离线,云端可选。具备离线 AI 记忆 (taOSmd)、自托管多框架群聊、完整的 Web 桌面 + 应用商店,以及跨您现有消费级硬件(Orange/Raspberry Pi、Mac mini、游戏 PC)的自动集群功能。
RTX PRO 6000 / RTX 5090 (sm_120) 上的前沿 MoE 模型:在 4 张 RTX PRO 6000 上运行 DeepSeek-V4.1-Flash、在 4 张 RTX 5090 上采用 GPU+CPU 混合方案,以及在 vLLM v0.24.0 上运行 2 位专家模型
在 NVIDIA GPU 上对 StartLux-Decision 模型进行快速、精确推理:已发布的 GGUF 文件通过 /v1/systemone API 使用 int8 和 4 位张量核心运行,在 FP8 下延迟比 vLLM 最高降低 5.3 倍,且答案逐位一致。
Xolotl:在一台游戏 PC(RTX 4090 + 110 GB RAM)上,将完整的 552B 参数 DeepSeek-V4.1-Flash 作为本地编程代理运行:代理模式约 33 tok/s,快速模式约 41 tok/s,支持 512K 上下文。此外还有 Inkling-2-Mini(Thinking Machines,自有引擎 + MTP 草拟器)、GLM-5.3-Flash、Qwen3.8、LFM3-Omni。MoE 专家分层部署于 VRAM、RAM 和 NVMe 之间(Xolotl Direct)。支持 OpenAI + Anthropic API。
Open Model Engine (OME) —— 用于大语言模型服务部署、GPU 调度和模型生命周期管理的 Kubernetes Operator。支持 SGLang、vLLM、TensorRT-LLM 和 Triton
循序渐进地学习大语言模型推理工程:从 KV 缓存、PagedAttention 和连续批处理,到 vLLM、SGLang 和 GPU。
KVarN 是专为您的智能体打造的原生 vLLM KV 缓存量化后端:上下文容量提升 3–5 倍,吞吐量超越 FP16,精度达到 FP16 级别。无需校准,只需一个参数。