#quantization 저장소
저장소 총 109개
NVIDIA GPU에서 StartLux-Decision 모델을 빠르고 정확하게 추론하세요. 공개된 GGUF 파일은 /v1/systemone API를 통해 int8 및 4비트 텐서 코어에서 실행되며, FP8에서 vLLM보다 최대 5.3배 낮은 지연 시간을 제공하고 답변은 비트 단위로 동일합니다.
교사에서 타일까지 — 처음부터 구축한 LLM 증류 및 서빙 엔진: 맞춤형 Triton/CUDA 커널, FSDP 증류, 페이징 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구.
Xolotl: DeepSeek-V4.1-Flash의 552B 파라미터 전체를 단 한 대의 게이밍 PC(RTX 4090 + RAM 110GB)에서 로컬 코딩 에이전트로 실행합니다. 에이전트 모드에서는 약 33 tok/s, 고속 모드에서는 약 41 tok/s이며, 512K 컨텍스트를 지원합니다. 또한 Inkling-2-Mini(Thinking Machines, 자체 엔진 + MTP 초안 작성기), GLM-5.3-Flash, Qwen3.8, LFM3-Omni도 지원합니다. MoE 전문가를 VRAM, RAM, NVMe에 계층적으로 배치합니다(Xolotl Direct). OpenAI + Anthropic API.
양자화된 최첨단 비전-언어 사전 훈련된 CLIP 모델과 ONNX Runtime 추론 엔진으로 구동되는 Android용 오프라인 의미론적 텍스트-이미지 및 이미지-이미지 검색
KVarN은 에이전트를 위한 네이티브 vLLM KV 캐시 양자화 백엔드입니다. 컨텍스트를 3~5배 더 확보하고, FP16을 뛰어넘는 처리량과 FP16 수준의 정확도를 제공합니다. 캘리브레이션 없이 플래그 하나로 사용할 수 있습니다.
완전 무검열·기능 강화형 Qwen3.6-27B abliteration. 통합 컨테이너 ghcr.io/aeon-7/aeon-vllm-ultimate:latest에서 NVFP4 + z-lab DFlash 추측 디코딩(n=12)을 사용하며, DGX Spark의 긴 컨텍스트 초안 수용률에 맞게 튜닝되었습니다. HF 변형 6종(BF16/NVFP4/MTP/MTP-XS), docker-compose 및 QuickStart 제공.