#inference 仓库
探索 144 个标记为 #inference 的活跃开源 GitHub 仓库,它们累计获得 870,238 个 Star(平均每个项目 6,043 个)。该主题的领先项目是 vllm-project/vllm,拥有 97,302 个 Star。
共 144 个仓库
面向语言、视觉、嵌入、重排序、图像、音频和视频模型的开源推理平台。支持通过多个推理引擎部署在异构硬件上,覆盖从笔记本电脑到分布式集群的各种环境。通过兼容 OpenAI 的 API 提供模型服务。
适用于 Laya 类型化决策模型的原生 MLX 运行时——在 M3 Max 上,短决策耗时 7–14 毫秒。不进行文本生成,不使用 PyTorch 或云端 API。
cube studio开源云原生一站式机器学习/深度学习/大模型AI平台,mlops算法链路全流程,算力租赁平台,notebook在线开发,拖拉拽任务流pipeline编排,多机多卡分布式训练,超参搜索,推理服务VGPU虚拟化,边缘计算,标注平台自动化标注,deepseek等大模型sft微调/奖励模型/强化学习训练,vllm/ollama/mindie大模型多机推理,私有知识库,AI模型市场,支持国产cpu/gpu/npu 昇腾生态,支持RDMA,支持pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano等分布式
TNN:由腾讯优图实验室和光影实验室开发的、适用于移动设备、桌面和服务器的统一深度学习推理框架。TNN的突出特点包括:跨平台能力、高性能、模型压缩和代码剪枝。基于ncnn和Rapidnet,TNN进一步加强了对移动设备的支持和性能优化,并借鉴了现有开源项目的良好可扩展性和高性能优势。
面向 CPU(x64、AArch64、RISC-V)和英特尔 GPU 的开源优化深度学习算子库(矩阵乘法、卷积、注意力机制)。被 PyTorch、TensorFlow、OpenVINO 和 ONNX Runtime 使用。
CSGHub 是由 OpenCSG 团队开发的全新开源 LLM 管理平台。它提供开源和本地/SaaS 解决方案,功能与 Hugging Face 相当。通过与 Hugging Face 兼容的 Python SDK,全面掌控 LLM、数据集和代理的生命周期。加入我们吧!⭐️
使用易于使用的硬件优化工具,加速 🤗 Transformers, Diffusers, TIMM 和 Sentence Transformers 的推理和训练
校招、秋招、春招、实习好项目!带你从零实现一个高性能的深度学习推理库,支持大模型 llama2 、Unet、Yolov5、Resnet等模型的推理。Implement a high-performance deep learning inference library step by step
常见问题解答
GitHub 上最受欢迎的 #inference 仓库是什么?
GitHub 上排名第一的开源 #inference 项目是 vllm-project/vllm,拥有 97,302 个 Star。用于LLM的高吞吐量和内存高效的推理与服务引擎
#inference 仓库中最常使用的编程语言有哪些?
在 GitHub 上排名靠前的 #inference 项目中,最常见的编程语言是 Python, C++, TypeScript, Jupyter Notebook。
#inference 仓库的排名是如何计算的?
我们跟踪了 144 个标记为 #inference 且拥有 500+ 个 Star 的活跃开源仓库,共计获得 870,238 个 Star,平均每个仓库拥有 6,043 个 Star。排名每日根据 GitHub API 更新。