#vllm 저장소
저장소 총 134개
[EMNLP 2024 & AAAI 2026] LLM, VLM 및 비디오 생성 모델을 포함한 대규모 모델 압축을 위한 강력한 툴킷입니다.
순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원
Rust로 구축된 엔진 독립형 LLM 게이트웨이. vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini 등에서 OpenAI 및 Anthropic API를 완벽하게 지원합니다. 업계 최초의 gRPC 파이프라인, KV 캐시 인식 라우팅, 채팅 기록, 토큰화 캐싱, Responses API, 임베딩, WASM 플러그인, MCP 및 멀티테넌트 인증을 제공합니다.
EfficientSAM3은 점진적 지식 증류를 통해 SAM3을 경량화되고 엣지 친화적인 모델로 압축하여 빠른 프롬프트 가능한 개념 세분화 및 추적을 수행합니다.
자체 호스팅 AI 에이전트 OS. 메모리, 채팅, 에이전트 및 파일은 사용자가 소유한 하드웨어에 저장되며, 기본적으로 오프라인 상태를 유지하고 필요 시 클라우드를 선택할 수 있습니다. 오프라인 AI 메모리(taOSmd), 자체 호스팅 멀티 프레임워크 그룹 채팅, 전체 웹 데스크톱 + 앱 스토어, 그리고 기존에 보유한 소비자용 하드웨어(Orange/Raspberry Pi, Mac mini, 게이밍 PC) 간의 자동 클러스터링 기능을 제공합니다.
RTX PRO 6000 / RTX 5090(sm_120)의 최첨단 MoE 모델: RTX PRO 6000 4개에서 실행하는 DeepSeek-V4.1-Flash, RTX 5090 4개에서의 GPU+CPU 하이브리드 구성, vLLM v0.24.0의 2비트 전문가 모델
sparkrun - NVIDIA DGX Spark 시스템에서 LLM 추론 워크로드를 시작, 관리 및 중지합니다. 실시간 지원: https://discord.com/invite/GH5kRgv6ZD
vLLM 서버(www.github.com/vllm-project/vllm)를 관리하고 상호 작용하기 위한 최신 웹 인터페이스입니다. GPU 및 CPU 모드를 모두 지원하며, macOS Apple Silicon 및 OpenShift/Kubernetes 기반의 엔터프라이즈 배포를 위한 특별 최적화가 포함되어 있습니다.
로컬 우선 풀스택 AI 창작 워크스테이션: AI 대화, AI 만화, 만화 드라마 제작, 글쓰기 공간, 지식 학습의 5개 모듈을 제공합니다. vLLM / llama.cpp / Transformers 멀티 엔진 로컬 추론, VRAM 지능형 스케줄링, 벌크헤드 격리 및 자동 복구를 지원합니다. 학습 목적으로만 사용해 주세요. 의견과 제안을 환영합니다. (플러그인 시스템을 제외한 최신 진행 사항은 프로토콜 제한으로 인해 현재 저장소에 커밋할 수 없습니다.)
Open Model Engine(OME) — LLM 서빙, GPU 스케줄링 및 모델 수명 주기 관리를 위한 Kubernetes 오퍼레이터입니다. SGLang, vLLM, TensorRT-LLM 및 Triton을 지원합니다
KVarN은 에이전트를 위한 네이티브 vLLM KV 캐시 양자화 백엔드입니다. 컨텍스트를 3~5배 더 확보하고, FP16을 뛰어넘는 처리량과 FP16 수준의 정확도를 제공합니다. 캘리브레이션 없이 플래그 하나로 사용할 수 있습니다.
사용자의 말투를 듣고 그에 맞는 말투로 말하는 오픈 풀 듀플렉스 음성 모델입니다. vLLM-Omni를 사용하면 GPU 1개로, MLX를 사용하면 Mac에서 완전히 오프라인으로 실행할 수 있습니다. 제로샷 음성 복제, OpenAI Realtime / GPT-Live 호환, 호스팅 API 무료 체험을 제공합니다. Apache-2.0.
완전 무검열·기능 강화형 Qwen3.6-27B abliteration. 통합 컨테이너 ghcr.io/aeon-7/aeon-vllm-ultimate:latest에서 NVFP4 + z-lab DFlash 추측 디코딩(n=12)을 사용하며, DGX Spark의 긴 컨텍스트 초안 수용률에 맞게 튜닝되었습니다. HF 변형 6종(BF16/NVFP4/MTP/MTP-XS), docker-compose 및 QuickStart 제공.