Git Stars Git Stars

#vllm 저장소

133
총 리포지토리
554,542
총 별점
4,169
리포지토리당 평균 스타 수
프로그래밍 언어: Python Go HTML C++

저장소 총 134개

51
allenai/Olmo-core

OLMo 생태계를 위한 PyTorch 빌딩 블록

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-03-23
52
vllm-project/guidellm

실제 추론 요구 사항에 맞게 LLM 배포를 평가 및 개선하세요

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-05-29
53
StartLuxLabs/StartLux-Decision

0.8B~27B 규모의 오픈 의사결정 모델: 한 번의 실행으로 각 선택지의 보정된 확률을 제공하고, 확신이 없을 때만 짧은 추론을 제시합니다. vLLM, llama.cpp, MLX용 엔진.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 업데이트됨 2026-10-23 📅 생성됨 2026-09-29
54
intel/auto-round

PTQ 수준의 효율성, QAT 수준의 정확도

intel
⭐ 1,706 Python 👤 intel Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-01-04
56
waybarrios/vllm-mlx

Apple Silicon용 고성능 OpenAI 및 Anthropic 호환 LLM 추론 서버. 네이티브 MLX, 연속 배치, 멀티모달 모델, MCP 도구 호출 및 Claude Code 지원.

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 업데이트됨 2026-11-07 📅 생성됨 2025-12-06
57
nokia-applied-research/AnyJev

모든 LLM을 Jev 스타일의 의사결정 모델로 전환하세요. 타입이 지정된 의사결정, 실제 확률, 학습 불필요. (계속 업데이트 중이며, 모든 이슈와 PR 요청을 환영합니다)

nokia-applied-research
⭐ 1,632 Python 👤 nokia-applied-research Organization 🕐 업데이트됨 2026-10-21 📅 생성됨 2026-09-21
58
autonomous-ai/Personal-AI-Computer

오픈소스 AI 컴퓨터 구성: GPU 2개 데스크톱부터 GPU 8개 서버까지 CAD, BOM, BIOS 및 조립 가이드를 제공합니다. PCIe 라이저가 포함된 케이스 키트를 구매하거나 무료 호환성 확인을 요청하세요.

autonomous-ai
⭐ 1,601 👤 autonomous-ai Organization 🕐 업데이트됨 2026-11-05 📅 생성됨 2025-08-22
⭐ 1,599 Python 👤 databricks Organization 🕐 업데이트됨 2026-03-25 📅 생성됨 2023-01-26
61
tencent-ailab/persona-hub

"1,000,000,000명의 페르소나를 활용한 합성 데이터 생성 확장" 논문의 공식 저장소

tencent-ailab
⭐ 1,585 Python 👤 tencent-ailab User 🕐 업데이트됨 2025-02-19 📅 생성됨 2024-06-22
62
verl-project/verl-omni

확산 모델 및 옴니 모델을 위한 다중 모드 RL 훈련 프레임워크

verl-project
⭐ 1,560 Python 👤 verl-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-04-21
64
BICLab/SpikingBrain-7B

하이브리드 효율적 어텐션, MoE 모듈 및 스파이크 인코딩을 아키텍처에 통합하는 스파이킹 뇌 기반 대규모 모델

BICLab
⭐ 1,432 Python 👤 BICLab User 🕐 업데이트됨 2026-05-14 📅 생성됨 2025-09-03
65
MoonshotAI/Kimi-Dev

소프트웨어 엔지니어링 작업을 위한 오픈 소스 코딩 LLM

MoonshotAI
⭐ 1,357 Python 👤 MoonshotAI Organization 🕐 업데이트됨 2025-09-30 📅 생성됨 2025-06-16
66
ModelCloud/GPTQModel

HF, vLLM, SGLang을 통해 Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, Huawei Ascend NPU 및 Intel/AMD/Apple CPU의 하드웨어 가속을 지원하는 LLM 모델 양자화(압축) 툴킷.

ModelCloud
⭐ 1,294 Python 👤 ModelCloud Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-06-17
67
kubeai-project/kubeai

Kubernetes용 AI 추론 연산자. 프로덕션에서 ML 모델을 제공하는 가장 쉬운 방법. VLM, LLM, 임베딩 및 음성-텍스트 변환을 지원합니다.

kubeai-project
⭐ 1,294 Go 👤 kubeai-project Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2023-10-21
⭐ 1,293 Python 👤 Visual-Agent Organization 🕐 업데이트됨 2025-11-20 📅 생성됨 2025-03-15
69
OpenBuddy/OpenBuddy

모두를 위한 오픈 다국어 챗봇

OpenBuddy
⭐ 1,274 👤 OpenBuddy Organization 🕐 업데이트됨 2025-06-08 📅 생성됨 2023-04-26
70
patchy631/time-to-first-token

LLM 추론 서빙 및 최적화를 위한 10주 로드맵(하루 30분). vLLM, SGLang, 양자화, 추측 디코딩, 벤치마킹.

patchy631
⭐ 1,245 HTML 👤 patchy631 User 🕐 업데이트됨 2026-08-14 📅 생성됨 2026-08-02
71
Ksuriuri/index-tts-vllm

더 빠른 추론을 위해 IndexTTS에 vLLM 지원을 추가했습니다.

Ksuriuri
⭐ 1,244 Python 👤 Ksuriuri User 🕐 업데이트됨 2026-04-13 📅 생성됨 2025-05-03
72
eagle-hq/EAGLE-4

EAGLE-4 공식 추론 코드

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2026-10-20
73
bricks-cloud/BricksLLM

☁️ 기업급 API 게이트웨이로 API 키별 비용 또는 속도 제한을 모니터링하고 적용할 수 있습니다. 사용자, 애플리케이션 또는 환경별로 세분화된 액세스 제어 및 모니터링을 제공합니다. OpenAI, Azure OpenAI, Anthropic, vLLM 및 오픈 소스 LLM을 지원합니다.

bricks-cloud
⭐ 1,210 Go 👤 bricks-cloud Organization 🕐 업데이트됨 2025-01-05 📅 생성됨 2023-07-18
74
jmaczan/tiny-vllm

C++와 CUDA로 나만의 고성능 LLM 추론 엔진 구축하기 - vLLM의 소형 버전

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 업데이트됨 2026-11-15 📅 생성됨 2026-02-09
75
MoonshotAI/Kimi-VL

Kimi-VL: 멀티모달 추론, 긴 문맥 이해 및 강력한 에이전트 기능을 위한 Mixture-of-Experts 비전-언어 모델

MoonshotAI
⭐ 1,203 👤 MoonshotAI Organization 🕐 업데이트됨 2025-07-15 📅 생성됨 2025-04-09
76
BytedTsinghua-SIA/MemAgent

3.5M까지 extrapolable한 MemAgent 프레임워크와 모든 에이전트 워크플로우의 RL 훈련을 위한 훈련 프레임워크.

BytedTsinghua-SIA
⭐ 1,118 Python 👤 BytedTsinghua-SIA Organization 🕐 업데이트됨 2026-05-12 📅 생성됨 2025-06-24
⭐ 1,090 Python 👤 thinking-machines-lab Organization 🕐 업데이트됨 2025-11-04 📅 생성됨 2025-09-10
78
prometheus-eval/prometheus-eval

Prometheus와 GPT4로 LLM의 응답을 평가하세요 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 업데이트됨 2025-04-25 📅 생성됨 2024-04-18
79
GAIR-NLP/LIMO

[COLM 2025] LIMO: 추론을 위한 '적은 것이 많은 것' (Less is More)

GAIR-NLP
⭐ 1,081 Python 👤 GAIR-NLP Organization 🕐 업데이트됨 2025-07-30 📅 생성됨 2025-02-04
80
Pokee-AI/PokeeResearchOSS

Pokee 심층 연구 모델 오픈 소스 리포지토리

Pokee-AI
⭐ 1,075 Python 👤 Pokee-AI Organization 🕐 업데이트됨 2025-10-22 📅 생성됨 2025-10-17
81
Tencent-Hunyuan/UniRL

UniRL은 통합 멀티모달 모델 강화 학습을 위한 프레임워크입니다

Tencent-Hunyuan
⭐ 1,051 Python 👤 Tencent-Hunyuan Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-06-08
83
ZJUI-AI4H/Hulu-Med

총체적인 의료 영상-언어 이해를 지향하는 투명한 범용 모델

ZJUI-AI4H
⭐ 1,031 Python 👤 ZJUI-AI4H User 🕐 업데이트됨 2026-08-30 📅 생성됨 2025-10-08
84
convergence-ai/proxy-lite

'Proxy' 어시스턴트의 미니, 오픈 웨이트 버전입니다.

convergence-ai
⭐ 989 Python 👤 convergence-ai Organization 🕐 업데이트됨 2025-02-26 📅 생성됨 2025-02-10
86
alvarobartt/hf-mem

Python으로 작성된, Hugging Face 모델의 추론 메모리 요구량을 추정하는 CLI입니다.

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-12-22
87
Valen-Team/Valen

텍스트, 이미지, 동영상을 지원하는 0.8B~27B 규모의 오픈 멀티모달 의사결정 모델입니다. 텍스트를 생성하는 대신 자체 후보에 확률을 부여해 판단하고, 바운딩 박스로 위치를 찾습니다. 무료 API, ONNX, GGUF, vLLM, SGLang을 지원하며 파인튜닝 코드도 포함되어 있습니다.

Valen-Team
⭐ 932 Python 👤 Valen-Team Organization 🕐 업데이트됨 2026-11-15 📅 생성됨 2026-09-23
88
XHToken/Spark-X2.6

Spark-x2.6 오픈 모델 시리즈. 온디바이스 모델의 에이전트 역량 한계를 뛰어넘다

XHToken
⭐ 927 👤 XHToken Organization 🕐 업데이트됨 2026-11-04 📅 생성됨 2026-08-24
89
harleyszhang/llm_note

모델 추론, 트랜스포머 모델 구조 및 LLM 프레임워크 코드 분석 노트를 포함한 LLM 노트.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 업데이트됨 2026-08-19 📅 생성됨 2024-09-18
90
th1nhhdk/local_ai_ocr

로컬, 오프라인(초기 설정 후), 휴대용 OCR 소프트웨어로, 이미지와 PDF 파일을 처리할 수 있으며, DeepSeek-OCR-2 AI(사용자 컴퓨터에서 직접 실행)를 사용합니다.

th1nhhdk
⭐ 892 Python 👤 th1nhhdk User 🕐 업데이트됨 2026-07-05 📅 생성됨 2025-11-21
91
triton-inference-server/tutorials

이 리포지토리에는 Triton Inference Server에 대한 튜토리얼 및 예제가 포함되어 있습니다.

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2022-12-16
92
whitecircle/halo

Halo는 White Circle이 대규모 언어 모델과 멀티모달 모델을 학습시키기 위해 구축한 오픈 소스 프레임워크입니다

whitecircle
⭐ 868 Python 👤 whitecircle Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-08-26
93
varunvasudeva1/llm-server-docs

Debian에 자신만의 로컬 및 완전 개인 LLM 서버를 설정하기 위한 엔드투엔드 문서입니다. 채팅, 웹 검색, RAG, 모델 관리, MCP 서버, 이미지 생성 및 TTS가 장착되어 있습니다.

varunvasudeva1
⭐ 853 👤 varunvasudeva1 User 🕐 업데이트됨 2026-06-30 📅 생성됨 2024-03-26
94
pgalko/BambooAI

투명성, 재현성, 사용자 제어를 위해 설계된 AI 기반 데이터 분석 워크벤치입니다. 결과의 근거가 되는 코드와 증거를 살펴보고, 재실행을 통해 계산을 검증하며, 로컬 오픈 웨이트 모델을 포함한 다양한 모델 중에서 선택할 수 있습니다.

pgalko
⭐ 848 Python 👤 pgalko User 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-05-07
95
TideDra/lmm-r1

멀티모달 작업에서 DeepSeek-R1을 재현하기 위한 LMM RL 훈련을 지원하도록 OpenRLHF를 확장합니다.

TideDra
⭐ 843 Python 👤 TideDra User 🕐 업데이트됨 2025-05-14 📅 생성됨 2025-02-13
96
jakobdylanc/llmcord

Discord를 LLM 프런트엔드로 활용하세요

jakobdylanc
⭐ 843 Python 👤 jakobdylanc User 🕐 업데이트됨 2026-08-14 📅 생성됨 2023-05-08
97
OpenBMB/AgentCPM

다양한 LLM 에이전트를 교육하고 평가하기 위한 종단 간 인프라스트럭처.

OpenBMB
⭐ 835 Python 👤 OpenBMB Organization 🕐 업데이트됨 2026-10-22 📅 생성됨 2026-01-08
98
Tencent-Hunyuan/Hunyuan-A13B

미세한 MoE 아키텍처를 기반으로 구축된 혁신적이고 오픈 소스인 LLM인 Tencent Hunyuan A13B(Hunyuan-A13B 약칭).

Tencent-Hunyuan
⭐ 815 Python 👤 Tencent-Hunyuan Organization 🕐 업데이트됨 2025-07-08 📅 생성됨 2025-06-27
99
ARahim3/kaggle-tpu-lab

무료 Kaggle TPU v5e-8에서 실행되는 프런티어급 오픈 모델: GLM-5.3-Flash 320B MoE(약 165 tok/s, 자체 JAX 엔진 사용) 및 Qwen3.8-27B bf16(약 130 tok/s), 262k 컨텍스트와 프리픽스 캐싱 지원. Claude Code, Codex, opencode, pi와 함께 사용할 수 있습니다.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 업데이트됨 2026-10-06 📅 생성됨 2026-08-31
100
ByteDance-Seed/Seed-Coder

Seed-Coder는 ByteDance Seed에서 개발한 기본, instruct 및 추론 모델을 포함하는 경량 오픈소스 코드 LLM 제품군입니다.

ByteDance-Seed
⭐ 755 👤 ByteDance-Seed Organization 🕐 업데이트됨 2025-06-06 📅 생성됨 2025-04-21