Git Stars Git Stars

#vllm 저장소

133
총 리포지토리
554,542
총 별점
4,169
리포지토리당 평균 스타 수

저장소 총 134개

101
ModelTC/LightCompress

[EMNLP 2024 & AAAI 2026] LLM, VLM 및 비디오 생성 모델을 포함한 대규모 모델 압축을 위한 강력한 툴킷입니다.

ModelTC
⭐ 755 Python 👤 ModelTC Organization 🕐 업데이트됨 2026-05-14 📅 생성됨 2024-03-06
102
pegainfer-project/pegainfer

순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-17
103
smg-project/smg

Rust로 구축된 엔진 독립형 LLM 게이트웨이. vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini 등에서 OpenAI 및 Anthropic API를 완벽하게 지원합니다. 업계 최초의 gRPC 파이프라인, KV 캐시 인식 라우팅, 채팅 기록, 토큰화 캐싱, Responses API, 임베딩, WASM 플러그인, MCP 및 멀티테넌트 인증을 제공합니다.

smg-project
⭐ 736 Rust 👤 smg-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-11-22
104
microsoft/vidur

정확하고 대규모이며 확장 가능한 LLM 추론 시스템 시뮬레이터

microsoft
⭐ 733 Python 👤 microsoft Organization 🕐 업데이트됨 2026-08-24 📅 생성됨 2023-11-02
106
SimonZeng7108/efficientsam3

EfficientSAM3은 점진적 지식 증류를 통해 SAM3을 경량화되고 엣지 친화적인 모델로 압축하여 빠른 프롬프트 가능한 개념 세분화 및 추적을 수행합니다.

SimonZeng7108
⭐ 713 Jupyter Notebook 👤 SimonZeng7108 User 🕐 업데이트됨 2026-08-11 📅 생성됨 2025-10-16
⭐ 703 Python 👤 stepfun-ai Organization 🕐 업데이트됨 2026-04-29 📅 생성됨 2025-11-11
108
ChenxinAn-fdu/POLARIS

고급 추론 모델의 RL 확장

ChenxinAn-fdu
⭐ 697 Python 👤 ChenxinAn-fdu User 🕐 업데이트됨 2025-10-20 📅 생성됨 2025-06-18
109
IEIT-Yuan/Yuan-2.0

Yuan 2.0 대규모 언어 모델

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 업데이트됨 2024-07-11 📅 생성됨 2023-11-26
110
mlabonne/llm-autoeval

Google Colab에서 LLM을 자동으로 평가하세요

mlabonne
⭐ 678 Python 👤 mlabonne User 🕐 업데이트됨 2024-05-07 📅 생성됨 2024-01-01
111
owenliang/qwen-vllm

통역천문 VLLM 추론 배포 데모

owenliang
⭐ 637 Python 👤 owenliang User 🕐 업데이트됨 2024-03-28 📅 생성됨 2024-01-21
112
firstbatchxyz/mem-agent-mcp

mem-agent mcp server

firstbatchxyz
⭐ 628 Python 👤 firstbatchxyz Organization 🕐 업데이트됨 2025-11-17 📅 생성됨 2025-09-01
113
mlfoundations/evalchemy

LLM에 대한 자동 평가

mlfoundations
⭐ 617 HTML 👤 mlfoundations Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2024-11-15
114
jaylfc/taOS

자체 호스팅 AI 에이전트 OS. 메모리, 채팅, 에이전트 및 파일은 사용자가 소유한 하드웨어에 저장되며, 기본적으로 오프라인 상태를 유지하고 필요 시 클라우드를 선택할 수 있습니다. 오프라인 AI 메모리(taOSmd), 자체 호스팅 멀티 프레임워크 그룹 채팅, 전체 웹 데스크톱 + 앱 스토어, 그리고 기존에 보유한 소비자용 하드웨어(Orange/Raspberry Pi, Mac mini, 게이밍 PC) 간의 자동 클러스터링 기능을 제공합니다.

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-04-05
115
HuiResearch/FlashTTS

SparkTTS, OrpheusTTS 등의 모델을 기반으로 고품질 중국어 음성 합성 및 목소리 복제 서비스를 제공합니다.

HuiResearch
⭐ 603 Python 👤 HuiResearch User 🕐 업데이트됨 2025-05-18 📅 생성됨 2025-03-13
116
MoonshotAI/K2-Vendor-Verifier

모든 Kimi K2 API 공급업체의 정밀도 확인

MoonshotAI
⭐ 602 Python 👤 MoonshotAI Organization 🕐 업데이트됨 2026-02-14 📅 생성됨 2025-09-09
117
llmmanorg/llmman

어떤 모델에서든 어떤 에이전트든 실행할 수 있으며, 모델은 OCI 이미지로 저장됩니다

llmmanorg
⭐ 598 Rust 👤 llmmanorg Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-03-22
119
kacper-daftcode/vLLM-Moet

RTX PRO 6000 / RTX 5090(sm_120)의 최첨단 MoE 모델: RTX PRO 6000 4개에서 실행하는 DeepSeek-V4.1-Flash, RTX 5090 4개에서의 GPU+CPU 하이브리드 구성, vLLM v0.24.0의 2비트 전문가 모델

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-06-15
120
raids-lab/crater

Crater는 클라우드 네이티브 AI 훈련 및 추론 플랫폼입니다.

raids-lab
⭐ 578 Go 👤 raids-lab Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-06-08
⭐ 568 Python 👤 pipecat-ai Organization 🕐 업데이트됨 2026-06-03 📅 생성됨 2026-01-01
122
fufankeji/DeepSeek-OCR-Web

바로 사용 가능한 DeepSeek OCR 문서 분석 웹 스튜디오

fufankeji
⭐ 568 TypeScript 👤 fufankeji User 🕐 업데이트됨 2025-10-27 📅 생성됨 2025-10-23
123
spark-arena/sparkrun

sparkrun - NVIDIA DGX Spark 시스템에서 LLM 추론 워크로드를 시작, 관리 및 중지합니다. 실시간 지원: https://discord.com/invite/GH5kRgv6ZD

spark-arena
⭐ 567 Python 👤 spark-arena Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-02-16
124
FlagOpen/RoboBrain

[CVPR 2025] RoboBrain: 추상에서 구체까지 로봇 조작을 위한 통합 뇌 모델. 공식 저장소.

FlagOpen
⭐ 564 Python 👤 FlagOpen Organization 🕐 업데이트됨 2025-10-13 📅 생성됨 2025-03-27
125
llumnix-project/llumnix-ray

효율적이고 쉬운 멀티 인스턴스 LLM 서비스

llumnix-project
⭐ 561 Python 👤 llumnix-project Organization 🕐 업데이트됨 2026-03-12 📅 생성됨 2024-05-20
126
01-ai/Yi-1.5

Yi-1.5는 코딩, 수학, 추론 및 지시 사항 준수 능력에서 더 강력한 성능을 제공하는 Yi의 업그레이드 버전입니다.

01-ai
⭐ 557 👤 01-ai Organization 🕐 업데이트됨 2024-11-11 📅 생성됨 2024-05-10
128
micytao/vllm-playground

vLLM 서버(www.github.com/vllm-project/vllm)를 관리하고 상호 작용하기 위한 최신 웹 인터페이스입니다. GPU 및 CPU 모드를 모두 지원하며, macOS Apple Silicon 및 OpenShift/Kubernetes 기반의 엔터프라이즈 배포를 위한 특별 최적화가 포함되어 있습니다.

micytao
⭐ 548 JavaScript 👤 micytao User 🕐 업데이트됨 2026-11-07 📅 생성됨 2025-11-01
129
Yzw202011/OmniSpace

로컬 우선 풀스택 AI 창작 워크스테이션: AI 대화, AI 만화, 만화 드라마 제작, 글쓰기 공간, 지식 학습의 5개 모듈을 제공합니다. vLLM / llama.cpp / Transformers 멀티 엔진 로컬 추론, VRAM 지능형 스케줄링, 벌크헤드 격리 및 자동 복구를 지원합니다. 학습 목적으로만 사용해 주세요. 의견과 제안을 환영합니다. (플러그인 시스템을 제외한 최신 진행 사항은 프로토콜 제한으로 인해 현재 저장소에 커밋할 수 없습니다.)

Yzw202011
⭐ 536 Python 👤 Yzw202011 User 🕐 업데이트됨 2026-09-20 📅 생성됨 2026-08-23
130
ome-projects/ome

Open Model Engine(OME) — LLM 서빙, GPU 스케줄링 및 모델 수명 주기 관리를 위한 Kubernetes 오퍼레이터입니다. SGLang, vLLM, TensorRT-LLM 및 Triton을 지원합니다

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-05-19
131
huawei-csl/KVarN

KVarN은 에이전트를 위한 네이티브 vLLM KV 캐시 양자화 백엔드입니다. 컨텍스트를 3~5배 더 확보하고, FP16을 뛰어넘는 처리량과 FP16 수준의 정확도를 제공합니다. 캘리브레이션 없이 플래그 하나로 사용할 수 있습니다.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 업데이트됨 2026-06-22 📅 생성됨 2026-05-29
132
adventists-ai/sophon-realtime

사용자의 말투를 듣고 그에 맞는 말투로 말하는 오픈 풀 듀플렉스 음성 모델입니다. vLLM-Omni를 사용하면 GPU 1개로, MLX를 사용하면 Mac에서 완전히 오프라인으로 실행할 수 있습니다. 제로샷 음성 복제, OpenAI Realtime / GPT-Live 호환, 호스팅 API 무료 체험을 제공합니다. Apache-2.0.

adventists-ai
⭐ 510 Python 👤 adventists-ai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-11-04
133
Chen-zexi/vllm-cli

vLLM을 사용하여 LLM을 서빙하기 위한 명령줄 인터페이스 도구.

Chen-zexi
⭐ 507 Python 👤 Chen-zexi User 🕐 업데이트됨 2026-01-25 📅 생성됨 2025-08-14
134
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

완전 무검열·기능 강화형 Qwen3.6-27B abliteration. 통합 컨테이너 ghcr.io/aeon-7/aeon-vllm-ultimate:latest에서 NVFP4 + z-lab DFlash 추측 디코딩(n=12)을 사용하며, DGX Spark의 긴 컨텍스트 초안 수용률에 맞게 튜닝되었습니다. HF 변형 6종(BF16/NVFP4/MTP/MTP-XS), docker-compose 및 QuickStart 제공.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 업데이트됨 2026-11-13 📅 생성됨 2026-04-25