#inference 仓库
共 144 个仓库
⚡ Apple Silicon 原生 MLX Swift LLM 推理服务器。兼容 OpenAI API,支持 100B+ MoE 模型的 SSD 流式传输,TurboQuant KV 缓存压缩,MACOS + iOS iPhone 应用。
AI 生产力工具 – 免费开源,提高用户生产力,保护隐私和数据安全。包括但不限于:内置本地独占的 ChatGPT、DeepSeek、Phi、Qwen 等模型,一键批量智能处理图片、视频、音频等。
纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型
Intel® AI Reference Models:包含针对在 Intel® Xeon® Scalable 处理器和 Intel® Data Center GPU 上运行深度学习工作负载的 Intel 优化
Graph Data Science:一个 Python 中的抽象层,用于构建知识图谱,与流行的图谱库集成 – 基于 Pandas、NetworkX、RAPIDS、RDFlib、pySHACL、PyVis、morph-kgc、pslpython、pyarrow 等。
Ollama 用于经典 ML 模型。AOT 编译器,将 XGBoost、LightGBM、scikit-learn、CatBoost 和 ONNX 模型转换为原生 C99 推理代码。加载一条命令,服务一条命令。比 Python 推理快 336 倍。
面向 GGUF 模型的原生 .NET 大语言模型推理引擎和智能体运行时。TensorSharp 提供控制台应用、基于 Web 的聊天机器人界面、iPhone 应用,以及兼容 Ollama/OpenAI 的 HTTP API,支持以编程方式访问。它支持 Windows、macOS、iOS 和 Linux,并具备完整的 GPU 能力。
Deep Learning Streamer (DL Streamer) 管道框架是一个基于 GStreamer* 多媒体框架的开源流媒体分析框架,用于在云端或边缘创建复杂的媒体分析管道。
此存储库包含 LipGAN 的代码。LipGAN 作为题为 "Towards Automatic Face-to-Face Translation" 的论文的一部分发表。
sparkrun——在 NVIDIA DGX Spark 系统上启动、管理和停止 LLM 推理工作负载。在线支持:https://discord.com/invite/GH5kRgv6ZD
Triton Model Analyzer 是一个 CLI 工具,用于帮助更好地理解 Triton Inference Server 模型对计算和内存的需求。