#llm-inference 仓库
共 202 个仓库
Rapid-MLX 是一个开源(Apache 2.0)的 LLM 推理服务器,适用于 Apple Silicon,兼容 OpenAI 和 Anthropic,基于 MLX 构建,专注于为编程代理提供可靠的工具调用功能。在使用相同模型权重的情况下,速度最高可达 Apple 的 MLX(mlx-lm)的 4 倍。
在您自己的 GPU 上运行 GLM-5.3(744B)、DeepSeek-V4.1-Flash(748B)、MiniMax-M3.1-Flash(428B)、GLM-5.3-Flash(321B)和 Hy4-Flash(220B)——最低仅需 8 GB 显存,支持 NVIDIA 和 AMD,统一仪表板,并提供兼容 OpenAI 和 Anthropic 的 API。
为您的操作数据库添加实时分析节点。Spice 是一个用 Rust 编写的可移植、加速 SQL 查询、搜索和 LLM 推理引擎,专为基于数据的 AI 应用和智能体而设计。
在你实际拥有的 GPU 上快速部署大型 Qwen 模型。使用 vLLM 在单张 24 GB 显卡上运行 Qwen3.8-27B:单用户 127 token/秒(答案引用提示词时为 381 token/秒),64 路并发时约 1,035 token/秒,支持 150k–262k 上下文。vLLM 补丁、重新量化流程与基准测试。
在 Mac 上运行 Qwen 3.8 Flash Next、Qwen 3.8 27B 和 Ternary Bonsai 2 27B 的最快方式:在 M5 Max 上通过 OpenCode 达到 125 token/秒,并可在 16 GB Mac 上运行 27B 模型。在 Apple Silicon 上原生支持 MTP 推测解码,在任何温度下都能保持精确。兼容 OpenAI 和 Anthropic 的本地服务器。
SGLang x Datawhale 官方大语言模型推理课程:理解推理原理,从零构建一个迷你版 SGLang,然后阅读真正的 SGLang 源码并提交你的第一个 PR。课程提供英文和中文版本。
PHP 生态系统中的智能体框架,用于构建生产就绪的 AI 驱动应用程序。将组件(LLM、工具、向量数据库、内存)连接到与您的数据和 UI 进行交互的智能体。
面向智能体的本地 AI 应用程序和推理引擎。在您的计算机上本地运行开源权重 LLM — 私密、100% 离线。加入我们的 Discord:https://discord.com/invite/8wGSsvmg4V
在任何地方(Linux/Windows/Mac)使用 GPU 或 CPU 通过 gradio UI 本地运行任何 Llama 2。将 `llama2-wrapper` 作为您的本地 llama2 后端,用于生成式代理/应用。
高性能、隐私优先的 React Native 端侧 AI 推理库,由 PyTorch 的 ExecuTorch 运行时提供支持