#inference 仓库
共 144 个仓库
cubestudio开源云原生一站式机器学习/深度学习/大模型AI平台/MaaS/mlops/人工智能平台/训推平台,算法全链路流程,多租户,算力租赁平台,token中转,拖拉拽任务流pipeline编排,多机多卡分布式训练,超参搜索,推理服务,VGPU虚拟化,云边端协同,边缘计算,自动化标注平台,deepseek等大模型sft微调/奖励模型/强化学习训练,vllm/ollama/mindie大模型多机推理,私有知识库llmops智能体,AI模型市场,支持国产异构算力调度,昇腾/寒武纪/海光/摩尔/沐曦等,支持ib/roce/RDMA,信创支持
适用于 Apple Silicon 的原生大语言模型推理服务器。兼容 OpenAI 和 Anthropic API。无需 Python。采用 Zig 后端和 Swift 前端的 macOS 应用,支持聊天、音乐、语音和视频生成。
参数规模从 0.8B 到 27B 的开放式决策模型:一次推理即可为每个选项给出经过校准的概率,仅在不确定时提供简短思考。适用于 vLLM、llama.cpp 和 MLX 的引擎。
面向 AWS Trainium 的开源大语言模型推理引擎:NKI mega kernel、100 万 token 上下文、兼容 OpenAI 的 API。由 RunAnywhere 打造。
DELTA 是一个基于深度学习的自然语言和语音处理平台。LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/
用于在任意硬件和量化设置下逐步优化本地 LLM 服务速度(解码、推测解码、预填充、KV、启动、首 Token 延迟)的 Agent 技能
Qualcomm® AI Hub Models 是我们收集的一系列最先进的机器学习模型,这些模型经过性能(延迟、内存等)优化,可随时部署在 Qualcomm® 设备上。
运行比内存容量更大的 MoE 模型。在手机、笔记本电脑或边缘设备上运行前沿级 MoE。无损,基于原版 llama.cpp。自适应流式优化器。支持任何硬件、任何操作系统、任何模型、任何量化方式,并通过本地兼容 OpenAI 的服务器提供服务。