#mlx 仓库
共 76 个仓库
为 Qwen 和 Nemotron 优化的极速 Apple Silicon 推理引擎。兼容 OpenAI 和 Anthropic API。由 nace.ai 团队打造。
一款完全本地化且保护隐私的语音转文字应用,提供多种模型后端、说话人日志记录及日历模式 - 适用于 Windows、macOS 和 Linux
⚡ Apple Silicon 原生 MLX Swift LLM 推理服务器。兼容 OpenAI API,支持 100B+ MoE 模型的 SSD 流式传输,TurboQuant KV 缓存压缩,MACOS + iOS iPhone 应用。
MLX Omni Server 是一个由 Apple 的 MLX 框架驱动的本地推理服务器,专为 Apple Silicon(M 系列)芯片设计。它实现了与 OpenAI 兼容的 API 端点,能够与现有的 OpenAI SDK 客户端无缝集成,同时利用本地机器学习推理的强大功能。
在 Apple Silicon 上实现最高 4 倍速的 LLM 解码,且无损。DeepSeek 的 DSpark 和 z-lab 的 DFlash 推测解码的原生 MLX 移植版——支持 Gemma-4、Qwen3.8、Muse-Glimmer、Nemotron、LFM2.5、Ornith-1.0 以及三值 Bonsai-27B。
为 Claude Code 和任何 MCP 客户端提供本地 AI 背景音乐和音效。在 Apple Silicon(MLX)和 Windows NVIDIA GPU(PyTorch)上运行 Stable Audio 3。无需云服务,无需 API 密钥。
在无法容纳 105 GB 模型的 Mac 上运行它。Qwen3.8-Flash-Next 4-bit,可从 SSD 流式加载,在配备 16–64 GB 内存的 Apple Silicon Mac 上运行。完全采用原生 Swift、MLX 和 Metal。离线运行,无需 Python。提供 CLI、Swift 库以及 Ollama/OpenAI/Anthropic API。兼容 Claude Code 和 Codex。
在 Mac (M1/M2/M3/M4) 上本地运行 Qwen3-TTS 语音合成。支持语音克隆、语音设计和自定义语音。基于 MLX 实现 100% 离线运行。
适用于 iPhone、iPad 和 Mac 的本地 AI 聊天应用。可连接 Ollama、LM Studio 或任何兼容 OpenAI 的服务器,也可在设备上运行 MLX 模型。支持工具和网页搜索。
开放式全双工语音模型,能够听懂你的语气并以相应语气回应。借助 vLLM-Omni,仅需一块 GPU;或使用 MLX 在 Mac 上完全离线运行。零样本声音克隆,兼容 OpenAI Realtime / GPT-Live,并提供免费的托管 API 试用。Apache-2.0。