#vllm 저장소
저장소 총 134개
0.8B~27B 규모의 오픈 의사결정 모델: 한 번의 실행으로 각 선택지의 보정된 확률을 제공하고, 확신이 없을 때만 짧은 추론을 제시합니다. vLLM, llama.cpp, MLX용 엔진.
Apple Silicon용 고성능 OpenAI 및 Anthropic 호환 LLM 추론 서버. 네이티브 MLX, 연속 배치, 멀티모달 모델, MCP 도구 호출 및 Claude Code 지원.
모든 LLM을 Jev 스타일의 의사결정 모델로 전환하세요. 타입이 지정된 의사결정, 실제 확률, 학습 불필요. (계속 업데이트 중이며, 모든 이슈와 PR 요청을 환영합니다)
오픈소스 AI 컴퓨터 구성: GPU 2개 데스크톱부터 GPU 8개 서버까지 CAD, BOM, BIOS 및 조립 가이드를 제공합니다. PCIe 라이저가 포함된 케이스 키트를 구매하거나 무료 호환성 확인을 요청하세요.
HF, vLLM, SGLang을 통해 Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, Huawei Ascend NPU 및 Intel/AMD/Apple CPU의 하드웨어 가속을 지원하는 LLM 모델 양자화(압축) 툴킷.
Kubernetes용 AI 추론 연산자. 프로덕션에서 ML 모델을 제공하는 가장 쉬운 방법. VLM, LLM, 임베딩 및 음성-텍스트 변환을 지원합니다.
LLM 추론 서빙 및 최적화를 위한 10주 로드맵(하루 30분). vLLM, SGLang, 양자화, 추측 디코딩, 벤치마킹.
☁️ 기업급 API 게이트웨이로 API 키별 비용 또는 속도 제한을 모니터링하고 적용할 수 있습니다. 사용자, 애플리케이션 또는 환경별로 세분화된 액세스 제어 및 모니터링을 제공합니다. OpenAI, Azure OpenAI, Anthropic, vLLM 및 오픈 소스 LLM을 지원합니다.
3.5M까지 extrapolable한 MemAgent 프레임워크와 모든 에이전트 워크플로우의 RL 훈련을 위한 훈련 프레임워크.
텍스트, 이미지, 동영상을 지원하는 0.8B~27B 규모의 오픈 멀티모달 의사결정 모델입니다. 텍스트를 생성하는 대신 자체 후보에 확률을 부여해 판단하고, 바운딩 박스로 위치를 찾습니다. 무료 API, ONNX, GGUF, vLLM, SGLang을 지원하며 파인튜닝 코드도 포함되어 있습니다.
로컬, 오프라인(초기 설정 후), 휴대용 OCR 소프트웨어로, 이미지와 PDF 파일을 처리할 수 있으며, DeepSeek-OCR-2 AI(사용자 컴퓨터에서 직접 실행)를 사용합니다.
Debian에 자신만의 로컬 및 완전 개인 LLM 서버를 설정하기 위한 엔드투엔드 문서입니다. 채팅, 웹 검색, RAG, 모델 관리, MCP 서버, 이미지 생성 및 TTS가 장착되어 있습니다.
투명성, 재현성, 사용자 제어를 위해 설계된 AI 기반 데이터 분석 워크벤치입니다. 결과의 근거가 되는 코드와 증거를 살펴보고, 재실행을 통해 계산을 검증하며, 로컬 오픈 웨이트 모델을 포함한 다양한 모델 중에서 선택할 수 있습니다.
미세한 MoE 아키텍처를 기반으로 구축된 혁신적이고 오픈 소스인 LLM인 Tencent Hunyuan A13B(Hunyuan-A13B 약칭).
무료 Kaggle TPU v5e-8에서 실행되는 프런티어급 오픈 모델: GLM-5.3-Flash 320B MoE(약 165 tok/s, 자체 JAX 엔진 사용) 및 Qwen3.8-27B bf16(약 130 tok/s), 262k 컨텍스트와 프리픽스 캐싱 지원. Claude Code, Codex, opencode, pi와 함께 사용할 수 있습니다.
Seed-Coder는 ByteDance Seed에서 개발한 기본, instruct 및 추론 모델을 포함하는 경량 오픈소스 코드 LLM 제품군입니다.