#llama-cpp 仓库
共 69 个仓库
为 Qwen 和 Nemotron 优化的极速 Apple Silicon 推理引擎。兼容 OpenAI 和 Anthropic API。由 nace.ai 团队打造。
Orion-14B 系列模型包括一个具有140亿参数的多语言基座大模型以及一系列相关的衍生模型,包括对话模型,长文本模型,量化模型,RAG微调模型,Agent微调模型等。
用于视觉语言模型的 ComfyUI 节点:Qwen3-VL、Moondream 3、Florence-2、SmolVLM2、InternVL、Gemma 3、MiniCPM-V。此外还支持开放词汇检测、SAM2/SAM3 分割、视频时序推理、通过 llama.cpp 实现的 GGUF,以及托管的 LLM/VLM API。
面向 iOS、Android 和 Web 的开源、自带密钥(BYOK)多模型 AI 聊天客户端。一个 LLM 客户端即可接入 OpenAI、Anthropic、Google Gemini、OpenRouter、DeepSeek 及另外十多个服务商,还支持任何兼容 OpenAI、Anthropic 或 Gemini 的端点——Ollama、LM Studio、llama.cpp、vLLM。优先本地运行,可自行托管,无需账户。AGPL-3.0。
sparkrun——在 NVIDIA DGX Spark 系统上启动、管理和停止 LLM 推理工作负载。在线支持:https://discord.com/invite/GH5kRgv6ZD
在自己的电脑上更轻松地使用 AI。免费开源的 Claude 和 ChatGPT 替代方案,可在 Mac、Windows 和 Linux 上本地运行 Gemma 和 gpt-oss 等开放权重模型。保护隐私,并支持离线使用。
GraphRAG-rs 是一个高性能、最先进的 Rust 实现的 GraphRAG(基于图的检索增强生成),它从文档构建知识图谱,并通过可配置的实体提取和本地 LLM 集成实现自然语言查询
本地优先的全栈 AI 创作工作站:AI 对话、AI 漫画、漫剧创作、写作台、知识学习五大模块;支持 vLLM / llama.cpp / Transformers 多引擎本地推理、显存智能调度、舱壁隔离与自愈。仅供学习使用,欢迎交流指正。(除插件系统外,最新进度受协议限制,暂时无法提交到仓库。)
一款纯 Rust 构建的 LLM、VLM、VLA、TTS 和 OCR 推理引擎,由 Candle 和 Rust 驱动。它是 llama.cpp 的替代方案,更简单、更简洁。
以阿拉伯语为先的生成式语音识别 — Audar-ASR-V1 (Flash + Turbo)。在开放式通用阿拉伯语 ASR 排行榜上排名第一。模型卡、基准测试与推理。