Git Stars Git Stars

#llm-serving 저장소

#llm-serving 태그가 지정된 GitHub의 활성 오픈 소스 저장소 44개를 확인해 보세요. 총 381,346개의 스타를 획득했으며 프로젝트당 평균 8,666개입니다. 이 주제를 이끄는 저장소는 97,302개의 스타를 받은 vllm-project/vllm입니다.

44
총 리포지토리
381,346
총 별점
8,666
리포지토리당 평균 스타 수

저장소 총 44개

1
vllm-project/vllm

LLM을 위한 고성능, 메모리 효율적인 추론 및 서빙 엔진

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-02-09
2
exo-explore/exo

로컬에서 프론티어 AI를 실행하세요。

exo-explore
⭐ 48,516 Python 👤 exo-explore Organization 🕐 업데이트됨 2026-11-06 📅 생성됨 2024-06-24
3
ray-project/ray

Ray는 AI 컴퓨트 엔진입니다. Ray는 ML 워크로드를 가속화하기 위한 핵심 분산 런타임과 AI 라이브러리 세트로 구성됩니다.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-10-25
4
lm-sys/FastChat

대규모 언어 모델을 훈련, 서빙 및 평가하기 위한 개방형 플랫폼. Vicuna 및 Chatbot Arena의 리포지토리 공개.

lm-sys
⭐ 39,550 Python 👤 lm-sys Organization 🕐 업데이트됨 2026-05-01 📅 생성됨 2023-03-19
5
liguodongiot/llm-action

본 프로젝트는 대형 모델 관련 기술 원리 및 실전 경험 (대형 모델 엔지니어링, 대형 모델 적용)을 공유하는 것을 목표로 합니다.

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 업데이트됨 2026-10-14 📅 생성됨 2023-05-23
6
NVIDIA/TensorRT-LLM

TensorRT LLM은 사용자가 대규모 언어 모델(LLM)을 정의할 수 있는 사용하기 쉬운 Python API를 제공하며, NVIDIA GPU에서 효율적으로 추론을 수행하기 위한 최첨단 최적화를 지원합니다. TensorRT LLM은 또한 추론 실행을 성능이 뛰어난 방식으로 조율하는 Python 및 C++ 런타임을 생성하는 구성 요소를 포함하고 있습니다.

NVIDIA
⭐ 15,112 Python 👤 NVIDIA Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-08-16
7
bentoml/OpenLLM

DeepSeek 및 Llama와 같은 모든 오픈 소스 LLM을 클라우드에서 OpenAI 호환 API 엔드포인트로 실행하세요.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2023-04-19
8
skypilot-org/skypilot

최첨단 팀을 위한 AI 컴퓨팅 플랫폼. SkyPilot은 분산된 AI 컴퓨팅을 하나의 AI 슈퍼컴퓨터로 전환하여 최첨단 AI 팀이 맞춤형 지능을 더 빠르게 구축할 수 있도록 합니다.

skypilot-org
⭐ 10,869 Python 👤 skypilot-org Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2021-08-11
9
bentoml/BentoML

AI 앱과 모델을 서빙하는 가장 쉬운 방법 - 모델 추론 API, 작업 큐, LLM 앱, 다중 모델 파이프라인 등을 구축하세요!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2019-04-02
10
bojieli/ai-infra-book

《AI 인프라 심층 이해: 정량 분석과 시스템 설계》(리보제 저), 오픈 소스 도서 원고: 하드웨어 제약과 모델 아키텍처를 바탕으로 LLM 추론 및 학습 시스템 설계를 정량적으로 도출합니다. 책 전체 본문, PDF, 관련 계산 도구와 실험을 포함합니다.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 업데이트됨 2026-10-01 📅 생성됨 2026-08-22
11
z-lab/dflash

DFlash: 플래시 사전 디코딩을 위한 블록 디퓨전

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 업데이트됨 2026-08-18 📅 생성됨 2026-01-04
12
gpustack/gpustack

고성능 AI 모델 서빙(vLLM, SGLang) 및 온디맨드 SSH 접속 가능 GPU 인스턴스를 위한 GPU 클러스터 관리자.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-05-11
13
sgl-project/mini-sglang

현대 LLM 서빙 시스템의 복잡성을 이해하기 쉽게 설명하기 위해 설계된 SGLang의 컴팩트한 구현입니다.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 업데이트됨 2026-05-17 📅 생성됨 2025-09-01
14
superduper-io/superduper

Superduper: 맞춤형 AI 애플리케이션 및 에이전트 구축을 위한 엔드투엔드 프레임워크.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 업데이트됨 2025-09-01 📅 생성됨 2022-08-30
15
SylphAI-Inc/LLM-engineer-handbook

모델 학습, 서빙, 미세 조정 및 LLM 애플리케이션 구축을 포함하는 대규모 언어 모델 리소스 큐레이션 목록입니다.

SylphAI-Inc
⭐ 5,014 👤 SylphAI-Inc Organization 🕐 업데이트됨 2025-08-18 📅 생성됨 2024-11-04
16
predibase/lorax

수천 개의 미세 조정된 LLM으로 확장되는 Multi-LoRA 추론 서버

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 업데이트됨 2026-05-28 📅 생성됨 2023-10-20
17
PaddlePaddle/FastDeploy

PaddlePaddle 기반 LLM 및 VLM을 위한 고성능 추론 및 배포 툴킷

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 업데이트됨 2026-09-24 📅 생성됨 2022-06-27
18
vllm-project/vllm-ascend

Huawei Ascend용 vLLM 커뮤니티 유지 관리 하드웨어 플러그인

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-01-29
19
thu-pacman/chitu

효율성, 유연성 및 가용성에 중점을 둔 대규모 언어 모델을 위한 고성능 추론 프레임워크.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-02-20
20
MoonshotAI/MoBA

MoBA: 긴 컨텍스트 LLM을 위한 블록 어텐션 혼합

MoonshotAI
⭐ 2,122 Python 👤 MoonshotAI Organization 🕐 업데이트됨 2025-04-03 📅 생성됨 2025-02-17
21
microsoft/aici

AICI: (Wasm) 프로그램으로서의 프롬프트

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 업데이트됨 2025-01-22 📅 생성됨 2023-09-26
22
SemiAnalysisAI/InferenceX

오픈 소스 추론 연구 플랫폼

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-07-12
23
ovg-project/kvcached

동적 GPU 공유 및 그 이상을 위한 가상화된 탄력적 KV 캐시

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-05-27
24
HuangOwen/Awesome-LLM-Compression

뛰어난 LLM 압축 연구 논문 및 도구.

HuangOwen
⭐ 1,899 👤 HuangOwen User 🕐 업데이트됨 2026-11-16 📅 생성됨 2023-05-30
25
RunanywhereAI/trnrt

AWS Trainium용 오픈 소스 LLM 추론 엔진: NKI 메가커널, 100만 토큰 컨텍스트, OpenAI 호환 API. RunAnywhere 제공.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-10-30
26
GradientHQ/parallax

Parallax는 어디서든 자신만의 AI 클러스터를 구축할 수 있게 해주는 분산형 모델 제공 프레임워크입니다

GradientHQ
⭐ 1,429 Python 👤 GradientHQ Organization 🕐 업데이트됨 2026-07-01 📅 생성됨 2025-09-22
27
peonist-ai/halogen-flash-server

최첨단 API처럼 작동하는 로컬 추론: AMD Strix Halo의 Qwen3.8-Flash-Next와 소형 NPU 모델을 OpenAI 및 Anthropic API를 통해 단일 포트에서 제공합니다.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-08-26
28
alibaba/rtp-llm

RTP-LLM: 다양한 애플리케이션을 위한 Alibaba의 고성능 LLM 추론 엔진.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-12-27
29
microsoft/MInference

[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Long-context LLM의 추론 속도를 높이기 위해 근사적이고 동적인 희소 계산은 주의를 계산하며, 이는 A100에서 사전 채우기 시 추론 지연 시간을 최대 10배까지 줄이면서 정확도를 유지합니다.

microsoft
⭐ 1,230 Python 👤 microsoft Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-05-22
30
efeslab/Nanoflow

LLM을 위한 처리량 중심의 고성능 서비스 프레임워크

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 업데이트됨 2026-03-29 📅 생성됨 2024-08-19
31
zhihu/ZhiLight

Llama 및 그 변형을 위한 고도로 최적화된 LLM 추론 가속 엔진.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 업데이트됨 2026-03-18 📅 생성됨 2024-12-06
32
mosecorg/mosec

고성능 ML 모델 서빙 프레임워크로, 동적 배치 및 CPU/GPU 파이프라인을 제공하여 컴퓨팅 머신을 최대한 활용합니다.

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 업데이트됨 2026-11-02 📅 생성됨 2021-03-13
33
triton-inference-server/tutorials

이 리포지토리에는 Triton Inference Server에 대한 튜토리얼 및 예제가 포함되어 있습니다.

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2022-12-16
34
mit-han-lab/omniserve

[MLSys'25] QServe: 효율적인 LLM 서빙을 위한 W4A8KV4 양자화 및 시스템 공동 설계; [MLSys'25] LServe: 통합 희소 주의를 사용한 긴 시퀀스 LLM의 효율적인 서빙

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 업데이트됨 2025-03-06 📅 생성됨 2024-05-06
35
helixml/helix

♾️ 특수 코딩의 프라이빗 에이전트 플릿. 각 에이전트는 GPU 가속 데스크톱을 가짐. Claude, Codex, Gemini 및 오픈 모델을 완전한 프라이빗 AI 스택에서 실행 ♾️

helixml
⭐ 833 Go 👤 helixml Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-10-17
36
LLMServe/DistServe

대규모 언어 모델(LLM)을 위한 분산형 서빙 시스템.

LLMServe
⭐ 817 Jupyter Notebook 👤 LLMServe Organization 🕐 업데이트됨 2025-04-06 📅 생성됨 2024-01-16
37
ARahim3/kaggle-tpu-lab

무료 Kaggle TPU v5e-8에서 실행되는 프런티어급 오픈 모델: GLM-5.3-Flash 320B MoE(약 165 tok/s, 자체 JAX 엔진 사용) 및 Qwen3.8-27B bf16(약 130 tok/s), 262k 컨텍스트와 프리픽스 캐싱 지원. Claude Code, Codex, opencode, pi와 함께 사용할 수 있습니다.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 업데이트됨 2026-10-06 📅 생성됨 2026-08-31
38
nunchaku-ai/deepcompressor

대규모 언어 모델 및 확산 모델을 위한 모델 압축 툴박스

nunchux-ai
⭐ 799 Python 👤 nunchux-ai Organization 🕐 업데이트됨 2025-08-14 📅 생성됨 2024-05-06
39
pegainfer-project/pegainfer

순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-17
40
owenliang/qwen-vllm

통역천문 VLLM 추론 배포 데모

owenliang
⭐ 637 Python 👤 owenliang User 🕐 업데이트됨 2024-03-28 📅 생성됨 2024-01-21
42
rohan-paul/LLM-FineTuning-Large-Language-Models

LLM(대규모 언어 모델) 미세 조정

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 업데이트됨 2025-04-01 📅 생성됨 2023-10-22
43
llumnix-project/llumnix-ray

효율적이고 쉬운 멀티 인스턴스 LLM 서비스

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 업데이트됨 2026-03-12 📅 생성됨 2024-05-20
44
OmniJev/Flide

🔥🔥 의사결정 모델을 위한 초고속 추론 엔진

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-24

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #llm-serving 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #llm-serving 프로젝트는 97,302개의 스타를 받은 vllm-project/vllm입니다. LLM을 위한 고성능, 메모리 효율적인 추론 및 서빙 엔진

2

#llm-serving 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #llm-serving 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Jupyter Notebook, Rust, C++입니다.

3

#llm-serving 저장소 순위는 어떻게 계산되나요?

#llm-serving 태그가 지정된 활성 오픈 소스 저장소(44개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 381,346개이며 저장소당 평균 8,666개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.