Git Stars Git Stars

#llm-inference 仓库

202
仓库总数
1.0M
总星标数
5,180
平均每个仓库星标数

共 202 个仓库

101
AnswerDotAI/rerankers

一个轻量级、低依赖、统一的API,用于使用所有常见的重排和交叉编码器模型。

AnswerDotAI
⭐ 1,644 Python 👤 AnswerDotAI Organization 🕐 已更新 2025-12-20 📅 创建时间 2024-03-06
102
xLLM-AI/xllm

一款面向 LLM、VLM 和 DiT 模型的高性能推理引擎,针对多种 AI 加速器进行了优化。该项目托管于开放原子开源基金会。

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 已更新 2026-11-21 📅 创建时间 2025-08-12
103
autonomous-ai/Personal-AI-Computer

开源 AI 计算机搭建方案,涵盖双 GPU 台式机到 8 GPU 服务器:提供 CAD 图纸、物料清单、BIOS 设置和装机指南。选购附带 PCIe 延长线的机箱套件,或联系我们免费检查兼容性。

autonomous-ai
⭐ 1,601 👤 autonomous-ai Organization 🕐 已更新 2026-11-05 📅 创建时间 2025-08-22
104
mit-han-lab/smoothquant

[ICML 2023] SmoothQuant: 适用于大型语言模型的精确高效的训练后量化

mit-han-lab
⭐ 1,576 Python 👤 mit-han-lab Organization 🕐 已更新 2024-07-12 📅 创建时间 2022-11-17
105
jax-ml/scaling-book

"如何扩展您的模型" 首页,一本关于在 TPU 上扩展 LLM 的简短博客式教科书

jax-ml
⭐ 1,537 SCSS 👤 jax-ml Organization 🕐 已更新 2026-10-19 📅 创建时间 2025-02-03
106
theroyallab/tabbyAPI

Exllama 的官方 API 服务器。兼容 OAI,轻量且快速。

theroyallab
⭐ 1,531 Python 👤 theroyallab Organization 🕐 已更新 2026-11-14 📅 创建时间 2023-11-10
107
felladrin/awesome-ai-web-search

允许在人工智能协助下进行网络搜索的软件列表:https://hf.co/spaces/felladrin/awesome-ai-web-search

felladrin
⭐ 1,521 HTML 👤 felladrin User 🕐 已更新 2026-11-21 📅 创建时间 2024-11-09
108
sauravpanda/BrowserAI

在您的浏览器中运行 llama、deepseek-distill、kokoro 等本地 LLM

sauravpanda
⭐ 1,451 TypeScript 👤 sauravpanda User 🕐 已更新 2026-07-21 📅 创建时间 2025-01-08
110
taielab/awesome-hacking-lists

跨越多个领域的精选顶级渗透测试工具和生产力实用程序合集。加入我们,探索、贡献并增强您的黑客工具包!

taielab
⭐ 1,404 👤 taielab User 🕐 已更新 2025-12-04 📅 创建时间 2020-06-12
112
lean-dojo/LeanCopilot

LLM 作为 Lean 定理证明的副驾驶

lean-dojo
⭐ 1,347 C++ 👤 lean-dojo Organization 🕐 已更新 2026-11-16 📅 创建时间 2023-09-09
113
hemingkx/SpeculativeDecodingPapers

📰 关于 Speculative Decoding 的必读论文和博客 ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 已更新 2026-06-27 📅 创建时间 2023-09-20
114
aigrantsindia/aigrantsindia

获取 AI 黑客松的 API 密钥

aigrantsindia
⭐ 1,287 👤 aigrantsindia User 🕐 已更新 2025-06-09 📅 创建时间 2025-02-22
115
wici-ai/inferssd

通过从 SSD 流式加载 MoE 专家,运行所需内存超过 RAM 或 VRAM 容量的模型。基于 llama.cpp 构建。

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 已更新 2026-11-20 📅 创建时间 2026-10-22
116
patchy631/time-to-first-token

一份为期 10 周、每天 30 分钟的 LLM 推理服务与优化路线图。vLLM、SGLang、量化、推测解码、基准测试。

patchy631
⭐ 1,245 HTML 👤 patchy631 User 🕐 已更新 2026-08-14 📅 创建时间 2026-08-02
117
Azure/AzurePublicDataset

Microsoft Azure Traces

Azure
⭐ 1,231 Jupyter Notebook 👤 Azure Organization 🕐 已更新 2026-11-17 📅 创建时间 2017-08-18
118
eagle-hq/EAGLE-4

EAGLE-4 官方推理代码

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 已更新 2026-11-13 📅 创建时间 2026-10-20
119
jmaczan/tiny-vllm

用C++和CUDA构建你自己的高性能LLM推理引擎——vLLM的缩小版

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 已更新 2026-11-15 📅 创建时间 2026-02-09
120
StayLameBro/backburner

你的 iPhone 助力 Mac 运行 270 亿参数模型:通过 USB-C 线缆更快读取提示词,并支持更长上下文

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 已更新 2026-11-07 📅 创建时间 2026-10-01
121
Tencent/hpc-ops

高性能LLM推理算子库

Tencent
⭐ 1,193 C++ 👤 Tencent Organization 🕐 已更新 2026-11-19 📅 创建时间 2026-01-20
122
character-ai/prompt-poet

通过低代码方法,为开发人员和非技术用户简化和优化提示设计。

character-ai
⭐ 1,160 Python 👤 character-ai Organization 🕐 已更新 2026-02-12 📅 创建时间 2024-07-17
123
microsoft/onnxruntime-genai

使用 ONNX Runtime 的生成式 AI

microsoft
⭐ 1,158 C++ 👤 microsoft Organization 🕐 已更新 2026-11-17 📅 创建时间 2023-11-13
⭐ 1,090 Python 👤 thinking-machines-lab Organization 🕐 已更新 2025-11-04 📅 创建时间 2025-09-10
125
zhuzilin/ring-flash-attention

使用Flash Attention实现Ring Attention

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 已更新 2025-09-10 📅 创建时间 2024-02-21
126
jondurbin/airoboros

Customizable implementation of the self-instruct paper 的可定制实现。

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 已更新 2024-03-07 📅 创建时间 2023-04-29
⭐ 1,041 Python 👤 huggingface Organization 🕐 已更新 2026-09-24 📅 创建时间 2023-10-06
128
tspeterkim/flash-attention-minimal

约100行CUDA实现Flash Attention(仅前向传播)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 已更新 2024-12-30 📅 创建时间 2024-03-07
⭐ 1,027 Python 👤 microsoft Organization 🕐 已更新 2024-01-04 📅 创建时间 2023-07-17
132
MoonshotAI/checkpoint-engine

Checkpoint-engine 是一个简单的中间件,用于在 LLM 推理引擎中更新模型权重

MoonshotAI
⭐ 1,026 Python 👤 MoonshotAI Organization 🕐 已更新 2026-10-22 📅 创建时间 2025-09-08
133
shyamsaktawat/OpenAlpha_Evolve

OpenAlpha_Evolve 是一个开源 Python 框架,其灵感来自 DeepMind 的 AlphaEvolve 等自主编码代理的开创性研究。

shyamsaktawat
⭐ 1,021 Python 👤 shyamsaktawat User 🕐 已更新 2025-05-31 📅 创建时间 2025-05-17
134
tingaicompass/AI-Compass

“AI-Compass”将为社区指引在 AI 技术海洋中航行的方向,无论你是初学者还是进阶开发者,都能在这里找到通往 AI 各大方向的路径。旨在帮助开发者系统性地了解 AI 的核心概念、主流技术、前沿趋势,并通过实践掌握从理论到落地的全过程。

tingaicompass
⭐ 1,000 Python 👤 tingaicompass User 🕐 已更新 2026-11-20 📅 创建时间 2025-05-27
135
likejazz/llama3.np

llama3.np是Llama 3模型的纯NumPy实现。

likejazz
⭐ 991 Python 👤 likejazz User 🕐 已更新 2025-04-27 📅 创建时间 2024-05-13
136
convergence-ai/proxy-lite

我们的 Proxy 助手的迷你、开放权重版本。

convergence-ai
⭐ 989 Python 👤 convergence-ai Organization 🕐 已更新 2025-02-26 📅 创建时间 2025-02-10
137
feder-cr/jev

jevos:Jev 和 Microsoft-Decision-1 的开源替代方案。在笔记本电脑的 CPU 上进行是/否决策、选择和评分,并提供概率。

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 已更新 2026-10-18 📅 创建时间 2024-08-15
138
dalisoft/awesome-hosting

按最低计划价格排序的优秀托管列表

dalisoft
⭐ 970 👤 dalisoft User 🕐 已更新 2026-11-21 📅 创建时间 2019-05-31
139
microsoft/T-MAC

使用查找表的CPU/NPU上的低比特LLM推理

microsoft
⭐ 964 C++ 👤 microsoft Organization 🕐 已更新 2025-06-05 📅 创建时间 2024-02-02
⭐ 944 👤 triton-inference-server Organization 🕐 已更新 2026-11-02 📅 创建时间 2023-09-12
141
foldl/chatllm.cpp

纯C++实现,用于在您的计算机(CPU和GPU)上进行实时聊天的多个模型

foldl
⭐ 942 C++ 👤 foldl User 🕐 已更新 2026-11-15 📅 创建时间 2023-12-02
142
guidance-ai/llguidance

超快速结构化输出

guidance-ai
⭐ 917 Rust 👤 guidance-ai Organization 🕐 已更新 2026-11-18 📅 创建时间 2024-07-25
143
kubernetes-sigs/lws

LeaderWorkerSet 与 DisaggregatedSet:用于分布式与解耦式 AI 服务的 Kubernetes API

kubernetes-sigs
⭐ 909 Go 👤 kubernetes-sigs Organization 🕐 已更新 2026-11-20 📅 创建时间 2024-02-22
144
zhihu/ZhiLight

Llama 及其变体的超优化 LLM 推理加速引擎。

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 已更新 2026-03-18 📅 创建时间 2024-12-06
145
harleyszhang/llm_note

LLM笔记,包括模型推理、Transformer模型结构和LLM框架代码分析笔记。

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 已更新 2026-08-19 📅 创建时间 2024-09-18
148
YassKhazzan/openperplex_backend_os

openperplex 是一个开源人工智能搜索引擎

YassKhazzan
⭐ 889 Python 👤 YassKhazzan User 🕐 已更新 2024-08-04 📅 创建时间 2024-08-03
149
HazyResearch
⭐ 885 Python 👤 HazyResearch Organization 🕐 已更新 2026-05-26 📅 创建时间 2025-05-27
150
eastriverlee/LLM.swift

LLM.swift 是一个简单易读的库,可让您轻松地在 macOS、iOS、watchOS、tvOS 和 visionOS 上本地与大型语言模型进行交互。

eastriverlee
⭐ 883 Swift 👤 eastriverlee User 🕐 已更新 2026-07-19 📅 创建时间 2023-12-02