Git Stars Git Stars

#inference 仓库

144
仓库总数
870,238
总星标数
6,043
平均每个仓库星标数

共 144 个仓库

101
OpenIntroStat/ims

📚 现代统计学导论 - 一本大学水平的开源教科书,采用现代方法,强调多变量关系和基于模拟的推断。

OpenIntroStat
⭐ 957 JavaScript 👤 OpenIntroStat Organization 🕐 已更新 2026-11-18 📅 创建时间 2015-07-13
102
alvarobartt/hf-mem

一个用于估算 Hugging Face 模型推理内存需求的命令行工具,使用 Python 编写。

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 已更新 2026-11-20 📅 创建时间 2025-12-22
103
uber/neuropod

一个用于运行来自多个框架的深度学习模型的统一接口

uber
⭐ 941 C++ 👤 uber Organization 🕐 已更新 2024-01-03 📅 创建时间 2019-01-23
104
TrenTorch/TrenTorch

不要死记硬背机器学习。从第一性原理出发理解它,涵盖推理、CUDA、深度学习、数据科学和强化学习。

TrenTorch
⭐ 867 Python 👤 TrenTorch Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-08-21
105
PABannier/bark.cpp

Suno AI 的 Bark 模型(C/C++ 实现),用于快速的文本转语音生成

PABannier
⭐ 850 C++ 👤 PABannier User 🕐 已更新 2024-11-16 📅 创建时间 2023-07-01
106
triton-inference-server/pytriton

PyTriton 是一个类似 Flask/FastAPI 的接口,可以简化 Triton 在 Python 环境中的部署。

triton-inference-server
⭐ 847 Python 👤 triton-inference-server Organization 🕐 已更新 2025-08-13 📅 创建时间 2022-11-08
107
cyrusbehr/tensorrt-cpp-api

TensorRT C++ API 教程

cyrusbehr
⭐ 813 C++ 👤 cyrusbehr User 🕐 已更新 2026-05-30 📅 创建时间 2021-10-25
108
fudan-generative-vision/Remory

Remory:学习残差记忆以压缩上下文

fudan-generative-vision
⭐ 809 Python 👤 fudan-generative-vision Organization 🕐 已更新 2026-11-09 📅 创建时间 2026-10-07
109
serizba/cppflow

在 C++ 中运行 TensorFlow 模型,无需安装且无需 Bazel

serizba
⭐ 809 C++ 👤 serizba User 🕐 已更新 2024-08-16 📅 创建时间 2019-05-16
110
SharpAI/SwiftLM

⚡ Apple Silicon 原生 MLX Swift LLM 推理服务器。兼容 OpenAI API,支持 100B+ MoE 模型的 SSD 流式传输,TurboQuant KV 缓存压缩,MACOS + iOS iPhone 应用。

SharpAI
⭐ 802 Swift 👤 SharpAI Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-03-21
111
pipeless-ai/pipeless

一个开源计算机视觉框架,可在几分钟内构建和部署应用程序

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 已更新 2024-05-08 📅 创建时间 2023-07-21
112
emlearn/emlearn

用于微控制器和嵌入式设备的机器学习推理引擎

emlearn
⭐ 776 Python 👤 emlearn Organization 🕐 已更新 2026-11-10 📅 创建时间 2018-03-16
113
rnchg/APT

AI 生产力工具 – 免费开源,提高用户生产力,保护隐私和数据安全。包括但不限于:内置本地独占的 ChatGPT、DeepSeek、Phi、Qwen 等模型,一键批量智能处理图片、视频、音频等。

rnchg
⭐ 768 C# 👤 rnchg User 🕐 已更新 2025-12-13 📅 创建时间 2024-06-19
114
h2non/filetype.py

小型、无依赖、快速的 Python 包,用于通过检查魔术数字签名来推断二进制文件类型

h2non
⭐ 766 Python 👤 h2non User 🕐 已更新 2025-05-02 📅 创建时间 2016-06-18
115
stamparm/identYwaf

盲 WAF 识别工具

stamparm
⭐ 758 Python 👤 stamparm User 🕐 已更新 2026-09-10 📅 创建时间 2019-01-10
116
aws/studio-lab-examples

用于处理 SageMaker Studio Lab 的示例笔记本。请在下方链接处注册账户!

aws
⭐ 753 Jupyter Notebook 👤 aws Organization 🕐 已更新 2024-08-24 📅 创建时间 2021-11-23
117
pegainfer-project/pegainfer

纯 Rust + CUDA 的 LLM 推理引擎——无需 PyTorch,兼容 OpenAI,支持从 Qwen3 到 Kimi-K2 的模型

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 已更新 2026-11-21 📅 创建时间 2026-02-17
118
MegEngine/InferLLM

一个轻量级的LLM模型推理框架

MegEngine
⭐ 746 C++ 👤 MegEngine Organization 🕐 已更新 2024-04-07 📅 创建时间 2023-05-04
119
hidet-org/hidet

一个用Python编写的开源高效深度学习框架/编译器。

hidet-org
⭐ 742 Python 👤 hidet-org Organization 🕐 已更新 2025-09-04 📅 创建时间 2022-01-04
120
microsoft/vidur

精确、大规模且可扩展的LLM推理系统模拟器

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 已更新 2026-08-24 📅 创建时间 2023-11-02
121
zhiqwang/yolort

yolort 是一个用于在 tensorrt、libtorch、onnxruntime、tvm 和 ncnn 等专用加速器上运行 yolov5 的运行时栈。

zhiqwang
⭐ 730 Python 👤 zhiqwang User 🕐 已更新 2026-04-10 📅 创建时间 2020-08-14
122
intel/ai-reference-models

Intel® AI Reference Models:包含针对在 Intel® Xeon® Scalable 处理器和 Intel® Data Center GPU 上运行深度学习工作负载的 Intel 优化

intel
⭐ 728 Python 👤 intel Organization 🕐 已更新 2026-02-11 📅 创建时间 2018-10-23
123
privacytrustlab/ml_privacy_meter

Privacy Meter:一个用于审计统计和机器学习算法中数据隐私的开源库。

privacytrustlab
⭐ 715 Jupyter Notebook 👤 privacytrustlab Organization 🕐 已更新 2025-04-26 📅 创建时间 2020-04-08
124
DerwenAI/kglab

Graph Data Science:一个 Python 中的抽象层,用于构建知识图谱,与流行的图谱库集成 – 基于 Pandas、NetworkX、RAPIDS、RDFlib、pySHACL、PyVis、morph-kgc、pslpython、pyarrow 等。

DerwenAI
⭐ 696 Jupyter Notebook 👤 DerwenAI Organization 🕐 已更新 2026-01-25 📅 创建时间 2020-10-25
125
kossisoroyce/timber

Ollama 用于经典 ML 模型。AOT 编译器,将 XGBoost、LightGBM、scikit-learn、CatBoost 和 ONNX 模型转换为原生 C99 推理代码。加载一条命令,服务一条命令。比 Python 推理快 336 倍。

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 已更新 2026-04-16 📅 创建时间 2026-02-27
126
zhongkaifu/TensorSharp

面向 GGUF 模型的原生 .NET 大语言模型推理引擎和智能体运行时。TensorSharp 提供控制台应用、基于 Web 的聊天机器人界面、iPhone 应用,以及兼容 Ollama/OpenAI 的 HTTP API,支持以编程方式访问。它支持 Windows、macOS、iOS 和 Linux,并具备完整的 GPU 能力。

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 已更新 2026-11-20 📅 创建时间 2026-04-03
127
AntonMu/TrainYourOwnYOLO

从零开始训练一个最先进的 yolov3 物体检测器!

AntonMu
⭐ 673 Jupyter Notebook 👤 AntonMu User 🕐 已更新 2024-08-02 📅 创建时间 2019-07-17
128
Nehanth/pooled

在浏览器中进行点对点 LLM 推理:汇聚你的设备,运行大型开源模型,用于聊天和编程代理。

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 已更新 2026-11-03 📅 创建时间 2026-09-01
129
xboot/libonnx

适用于嵌入式设备的轻量级、便携式纯 C99 ONNX 推理引擎,支持硬件加速。

xboot
⭐ 657 C 👤 xboot Organization 🕐 已更新 2026-07-07 📅 创建时间 2020-10-14
130
open-edge-platform/dlstreamer

Deep Learning Streamer (DL Streamer) 管道框架是一个基于 GStreamer* 多媒体框架的开源流媒体分析框架,用于在云端或边缘创建复杂的媒体分析管道。

open-edge-platform
⭐ 648 C++ 👤 open-edge-platform Organization 🕐 已更新 2026-11-20 📅 创建时间 2019-03-13
131
WaveSpeedAI/waverless

高性能无服务器 GPU 任务编排——wavespeed.ai 背后的调度层

WaveSpeedAI
⭐ 635 Go 👤 WaveSpeedAI Organization 🕐 已更新 2026-08-21 📅 创建时间 2025-10-16
132
therealoliver/Deepdive-llama3-from-scratch

逐步实现 llama3 推理,掌握核心概念,精通过程推导,实现代码。

therealoliver
⭐ 629 Jupyter Notebook 👤 therealoliver User 🕐 已更新 2025-02-24 📅 创建时间 2025-02-19
133
Rudrabha/LipGAN

此存储库包含 LipGAN 的代码。LipGAN 作为题为 "Towards Automatic Face-to-Face Translation" 的论文的一部分发表。

Rudrabha
⭐ 617 Python 👤 Rudrabha User 🕐 已更新 2025-06-22 📅 创建时间 2020-01-02
134
grimoire/mmdetection-to-tensorrt

将MMDetection模型转换为TensorRT,支持fp16、int8、批输入、动态形状等。

grimoire
⭐ 598 Python 👤 grimoire User 🕐 已更新 2024-02-18 📅 创建时间 2020-07-12
135
agentic-in/inferoa

面向循环工程的推理原生型 Token 最大化智能体框架

agentic-in
⭐ 570 TypeScript 👤 agentic-in Organization 🕐 已更新 2026-06-18 📅 创建时间 2026-06-08
136
spark-arena/sparkrun

sparkrun——在 NVIDIA DGX Spark 系统上启动、管理和停止 LLM 推理工作负载。在线支持:https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 已更新 2026-11-17 📅 创建时间 2026-02-16
137
Koldim2001/YOLO-Patch-Based-Inference

用于 YOLO 小目标检测和实例分割的 Python 库

Koldim2001
⭐ 562 Python 👤 Koldim2001 User 🕐 已更新 2026-04-22 📅 创建时间 2024-03-04
138
dllm-labs/mojo-dllm

使用 Mojo 编写的扩散语言模型(LLaDA、Dream)本地推理

dllm-labs
⭐ 546 Python 👤 dllm-labs Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-10-04
139
kaito-project/aikit

🏗️ 轻松微调、构建和部署开源 LLM!

kaito-project
⭐ 545 Go 👤 kaito-project Organization 🕐 已更新 2026-11-16 📅 创建时间 2023-09-20
140
kubedl-io/kubedl

在 Kubernetes 上更轻松高效地运行您的深度学习工作负载。

kubedl-io
⭐ 533 Go 👤 kubedl-io Organization 🕐 已更新 2024-03-04 📅 创建时间 2019-12-10
141
triton-inference-server/model_analyzer

Triton Model Analyzer 是一个 CLI 工具,用于帮助更好地理解 Triton Inference Server 模型对计算和内存的需求。

triton-inference-server
⭐ 531 Python 👤 triton-inference-server Organization 🕐 已更新 2026-11-17 📅 创建时间 2020-09-01
142
NVIDIA-ISAAC-ROS/isaac_ros_pose_estimation

基于深度学习、由 NVIDIA 加速的三维物体姿态估计

NVIDIA-ISAAC-ROS
⭐ 520 C++ 👤 NVIDIA-ISAAC-ROS Organization 🕐 已更新 2026-11-18 📅 创建时间 2021-11-04
143
mithril-security/blindai

采用安全 enclave 的机密 AI 部署 :lock:

mithril-security
⭐ 512 Rust 👤 mithril-security Organization 🕐 已更新 2024-03-19 📅 创建时间 2022-02-06
144
vectorch-ai/ScaleLLM

一种针对大语言模型的高性能推理系统,专为生产环境设计。

vectorch-ai
⭐ 502 C++ 👤 vectorch-ai Organization 🕐 已更新 2025-12-19 📅 创建时间 2023-07-24