Git Stars Git Stars

#model-serving 저장소

#model-serving 태그가 지정된 GitHub의 활성 오픈 소스 저장소 51개를 확인해 보세요. 총 211,758개의 스타를 획득했으며 프로젝트당 평균 4,152개입니다. 이 주제를 이끄는 저장소는 97,302개의 스타를 받은 vllm-project/vllm입니다.

51
총 리포지토리
211,758
총 별점
4,152
리포지토리당 평균 스타 수

저장소 총 51개

1
vllm-project/vllm

LLM을 위한 고성능, 메모리 효율적인 추론 및 서빙 엔진

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-02-09
2
bentoml/BentoML

AI 앱과 모델을 서빙하는 가장 쉬운 방법 - 모델 추론 API, 작업 큐, LLM 앱, 다중 모델 파이프라인 등을 구축하세요!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2019-04-02
3
vllm-project/vllm-omni

옴니 모달리티 모델을 사용한 효율적인 모델 추론을 위한 프레임워크

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-09-11
4
flyteorg/flyte

사용 중인 k8s에서 에이전트, ML 파이프라인, 실시간 추론을 타입 안전하게 분산 오케스트레이션하세요 — async/await를 사용하는 순수 Python과 다른 언어(Rust, Go, TypeScript) 지원

flyteorg
⭐ 7,801 Go 👤 flyteorg Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2019-10-21
6
kserve/kserve

Kubernetes 상의 확장 가능하고 다중 프레임워크 배포를 위한 표준화된 분산 생성 및 예측 AI 추론 플랫폼

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-03-27
7
beclab/Olares

상시 가동 에이전트를 위한 오픈 소스 개인용 클라우드 OS

beclab
⭐ 5,373 Go 👤 beclab Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-04-29
8
ahkarami/Deep-Learning-in-Production

이 리포지토리에서 프로덕션 환경에 딥러닝 기반 모델을 배포하는 데 유용한 노트와 참조 자료를 공유하겠습니다.

ahkarami
⭐ 4,380 👤 ahkarami User 🕐 업데이트됨 2024-11-09 📅 생성됨 2018-05-03
9
ModelTC/LightLLM

LightLLM은 경량 설계, 쉬운 확장성 및 고속 성능으로 주목받는 LLM(대규모 언어 모델) 추론 및 서빙을 위한 Python 기반 프레임워크입니다.

ModelTC
⭐ 4,368 Python 👤 ModelTC Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-07-22
10
HuaizhengZhang/AI-Infra-from-Zero-to-Hero

🚀 머신 러닝을 위한 멋진 시스템 ⚡️ AI 시스템 논문 및 산업 실무. ⚡️ 머신 러닝 시스템, LLM (대형 언어 모델), GenAI (생성 AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys 등. 🗃️ Llama3, Mistral 등. 🧑‍💻 비디오 튜토리얼.

HuaizhengZhang
⭐ 4,224 👤 HuaizhengZhang User 🕐 업데이트됨 2025-07-25 📅 생성됨 2019-01-07
11
FedML-AI/FedML

FEDML – 대규모 분산 학습, 모델 서빙 및 연합 학습을 위한 통합되고 확장 가능한 ML 라이브러리입니다. 크로스 클라우드 스케줄러인 FEDML Launch는 모든 GPU 클라우드 또는 온프레미스 클러스터에서 모든 AI 작업을 실행할 수 있도록 지원합니다. 이 라이브러리를 기반으로 구축된 TensorOpera AI(https://TensorOpera.ai)는 대규모 생성형 AI 플랫폼입니다.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2020-07-21
12
predibase/lorax

수천 개의 미세 조정된 LLM으로 확장되는 Multi-LoRA 추론 서버

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 업데이트됨 2026-05-28 📅 생성됨 2023-10-20
13
vllm-project/vllm-ascend

Huawei Ascend용 vLLM 커뮤니티 유지 관리 하드웨어 플러그인

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-01-29
14
openlake-project/openlake

OpenLake는 효율적인 LLM 추론 및 GPU 학습을 위한 고성능 스토리지 엔진입니다

openlake-project
⭐ 3,089 Rust 👤 openlake-project Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-04-27
15
thu-pacman/chitu

효율성, 유연성 및 가용성에 중점을 둔 대규모 언어 모델을 위한 고성능 추론 프레임워크.

thu-pacman
⭐ 3,005 Python 👤 thu-pacman Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-02-20
16
AmberLJC/LLMSys-PaperList

대규모 언어 모델(LLM) 시스템 논문 목록

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 업데이트됨 2026-10-20 📅 생성됨 2023-06-06
17
tensorchord/envd

🏕️ 인간과 에이전트를 위한 재현 가능한 개발 환경

tensorchord
⭐ 2,249 Go 👤 tensorchord Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2022-04-11
18
microsoft/aici

AICI: (Wasm) 프로그램으로서의 프롬프트

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 업데이트됨 2025-01-22 📅 생성됨 2023-09-26
19
tile-ai/TileRT

초저지연 LLM 추론을 위한 타일 기반 런타임

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 업데이트됨 2026-09-24 📅 생성됨 2025-11-12
20
sgl-project/sglang-omni

대화형 초지능 시스템을 위한 고성능 서빙 런타임

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-01-07
21
janhq/awesome-local-ai

로컬 AI 도구의 훌륭한 저장소

janhq
⭐ 1,791 👤 janhq Organization 🕐 업데이트됨 2024-11-13 📅 생성됨 2023-09-06
22
mlrun/mlrun

MLRun은 오픈 소스 MLOps 플랫폼으로, ML 애플리케이션의 라이프사이클 전반에 걸쳐 지속적인 ML 애플리케이션을 빠르게 구축하고 관리할 수 있습니다. MLRun은 개발 및 CI/CD 환경에 통합되어 프로덕션 데이터, ML 파이프라인 및 온라인 애플리케이션의 배포를 자동화합니다.

mlrun
⭐ 1,703 Python 👤 mlrun Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-09-01
23
ollaya-dev/ollaya

개방형 의사결정 모델을 위한 Jev 호환 API 서버. 의사결정 모델용 Ollama: 29개 모델 계열(Laya, pplx-decider, Clef, Winnow, coba 등)을 로컬에서 내려받아 실행하거나 /v1/systemone 뒤에서 직접 호스팅할 수 있습니다. TypeSafe SDK는 변경 없이 사용할 수 있습니다. 기본 URL을 설정하고 개방형 모델을 선택하세요. CLI, 데스크톱 앱, Docker, MCP 서버, 공개 벤치마크 제공.

ollaya-dev
⭐ 1,473 Rust 👤 ollaya-dev Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-09-23
24
kitops-ml/kitops

OCI 아티팩트로 AI/ML 모델, 데이터 세트, 코드 및 구성을 패키징하고 버전 관리하기 위한 CNCF의 오픈 소스 DevOps 도구입니다.

kitops-ml
⭐ 1,451 Go 👤 kitops-ml Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-02-02
25
alibaba/rtp-llm

RTP-LLM: 다양한 애플리케이션을 위한 Alibaba의 고성능 LLM 추론 엔진.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-12-27
26
hemingkx/SpeculativeDecodingPapers

📰 Speculative Decoding에 대한 필수 논문 및 블로그 ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 업데이트됨 2026-06-27 📅 생성됨 2023-09-20
27
logicalclocks/hopsworks

Hopsworks - 기능 저장소가 포함된 데이터 집약적 AI 플랫폼

logicalclocks
⭐ 1,299 Java 👤 logicalclocks Organization 🕐 업데이트됨 2025-02-10 📅 생성됨 2018-07-26
28
DataExpert-io/ai-engineer-handbook

AI와 최신 정보를 유지하려면 따라야 할 모든 링크, 책, 제작자들!

DataExpert-io
⭐ 1,261 👤 DataExpert-io Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-02-16
29
basetenlabs/truss

프로덕션에서 AI/ML 모델을 제공하는 가장 간단한 방법

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2022-07-06
30
gpu-mode/awesomeMLSys

ML 시스템 온보딩 목록

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 업데이트됨 2026-02-19 📅 생성됨 2024-05-06
31
efeslab/Nanoflow

LLM을 위한 처리량 중심의 고성능 서비스 프레임워크

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 업데이트됨 2026-03-29 📅 생성됨 2024-08-19
32
openvinotoolkit/model_server

OpenVINO™로 최적화된 모델을 위한 확장 가능한 추론 서버

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-09-26
33
triton-inference-server/tensorrtllm_backend

Triton TensorRT-LLM 백엔드

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 업데이트됨 2026-11-02 📅 생성됨 2023-09-12
34
replicate/replicate-python

Replicate용 Python 클라이언트

replicate
⭐ 909 Python 👤 replicate Organization 🕐 업데이트됨 2025-08-26 📅 생성됨 2022-05-11
35
zhihu/ZhiLight

Llama 및 그 변형을 위한 고도로 최적화된 LLM 추론 가속 엔진.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 업데이트됨 2026-03-18 📅 생성됨 2024-12-06
36
mosecorg/mosec

고성능 ML 모델 서빙 프레임워크로, 동적 배치 및 CPU/GPU 파이프라인을 제공하여 컴퓨팅 머신을 최대한 활용합니다.

mosecorg
⭐ 905 Python 👤 mosecorg Organization 🕐 업데이트됨 2026-11-02 📅 생성됨 2021-03-13
37
trainindata/deploying-machine-learning-models

온라인 코스 "기계 학습 모델 배포"의 코드

trainindata
⭐ 879 Jupyter Notebook 👤 trainindata Organization 🕐 업데이트됨 2024-08-20 📅 생성됨 2019-01-09
38
InternLM/Intern-S1

과학적 멀티모달 파운데이션 모델

InternLM
⭐ 876 👤 InternLM Organization 🕐 업데이트됨 2026-09-13 📅 생성됨 2025-07-25
39
bentoml/Yatai

Kubernetes에서 대규모 모델 배포 🦄️

bentoml
⭐ 843 TypeScript 👤 bentoml Organization 🕐 업데이트됨 2026-05-30 📅 생성됨 2021-07-30
40
Tejas-TA/predikit

머신러닝 모델과 AI 에이전트를 이어 주는 빠져 있던 다리.

Tejas-TA
⭐ 840 Python 👤 Tejas-TA User 🕐 업데이트됨 2026-10-28 📅 생성됨 2026-05-25
41
pegainfer-project/pegainfer

순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-17
42
abhishekkrthakur
⭐ 728 Python 👤 abhishekkrthakur User 🕐 업데이트됨 2024-09-14 📅 생성됨 2021-10-26
43
ServerlessLLM/ServerlessLLM

모두를 위한 서버리스 LLM 서빙.

ServerlessLLM
⭐ 720 Python 👤 ServerlessLLM Organization 🕐 업데이트됨 2026-09-04 📅 생성됨 2024-01-23
44
kossisoroyce/timber

Ollama: 고전 ML 모델용. XGBoost, LightGBM, scikit-learn, CatBoost 및 ONNX 모델을 네이티브 C99 추론 코드로 변환하는 AOT 컴파일러. 로드 한 명령어, 서빙 한 명령어. Python 추론보다 336배 빠름.

kossisoroyce
⭐ 692 Python 👤 kossisoroyce User 🕐 업데이트됨 2026-04-16 📅 생성됨 2026-02-27
46
mlfoundations/evalchemy

LLM에 대한 자동 평가

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2024-11-15
47
eightBEC/fastapi-ml-skeleton

머신러닝 모델을 프로덕션 준비 상태로 제공하기 위한 FastAPI 스켈레톤 앱.

eightBEC
⭐ 601 Python 👤 eightBEC User 🕐 업데이트됨 2026-01-08 📅 생성됨 2020-02-15
48
predibase/llm_distillation_playbook

대규모 언어 모델을 증류하기 위한 모범 사례.

predibase
⭐ 596 Jupyter Notebook 👤 predibase Organization 🕐 업데이트됨 2024-02-01 📅 생성됨 2023-12-06
49
fufankeji/DeepSeek-OCR-Web

바로 사용 가능한 DeepSeek OCR 문서 분석 웹 스튜디오

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 업데이트됨 2025-10-27 📅 생성됨 2025-10-23

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #model-serving 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #model-serving 프로젝트는 97,302개의 스타를 받은 vllm-project/vllm입니다. LLM을 위한 고성능, 메모리 효율적인 추론 및 서빙 엔진

2

#model-serving 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #model-serving 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Go, Rust, Jupyter Notebook입니다.

3

#model-serving 저장소 순위는 어떻게 계산되나요?

#model-serving 태그가 지정된 활성 오픈 소스 저장소(51개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 211,758개이며 저장소당 평균 4,152개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.