Git Stars Git Stars

#quantization 저장소

109
총 리포지토리
487,465
총 별점
4,472
리포지토리당 평균 스타 수

저장소 총 109개

101
StartLuxLabs/StartLux-Prism

NVIDIA GPU에서 StartLux-Decision 모델을 빠르고 정확하게 추론하세요. 공개된 GGUF 파일은 /v1/systemone API를 통해 int8 및 4비트 텐서 코어에서 실행되며, FP8에서 vLLM보다 최대 5.3배 낮은 지연 시간을 제공하고 답변은 비트 단위로 동일합니다.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 업데이트됨 2026-10-27 📅 생성됨 2026-10-13
102
zengxiao-he/tessera

교사에서 타일까지 — 처음부터 구축한 LLM 증류 및 서빙 엔진: 맞춤형 Triton/CUDA 커널, FSDP 증류, 페이징 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 업데이트됨 2026-10-09 📅 생성됨 2026-06-05
103
Indras-Mirror/Xolotl

Xolotl: DeepSeek-V4.1-Flash의 552B 파라미터 전체를 단 한 대의 게이밍 PC(RTX 4090 + RAM 110GB)에서 로컬 코딩 에이전트로 실행합니다. 에이전트 모드에서는 약 33 tok/s, 고속 모드에서는 약 41 tok/s이며, 512K 컨텍스트를 지원합니다. 또한 Inkling-2-Mini(Thinking Machines, 자체 엔진 + MTP 초안 작성기), GLM-5.3-Flash, Qwen3.8, LFM3-Omni도 지원합니다. MoE 전문가를 VRAM, RAM, NVMe에 계층적으로 배치합니다(Xolotl Direct). OpenAI + Anthropic API.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-06
104
cedrickchee/awesome-ml-model-compression

멋진 머신러닝 모델 압축 연구 논문, 양자화, 도구 및 학습 자료.

cedrickchee
⭐ 540 👤 cedrickchee User 🕐 업데이트됨 2024-09-21 📅 생성됨 2018-12-06
105
NVlabs/qerl

[ICLR 2026] QeRL은 단일 H100 GPU에서 32B LLM에 RL을 가능하게 합니다.

NVlabs
⭐ 527 Python 👤 NVlabs Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2025-09-22
106
slavabarkov/tidy

양자화된 최첨단 비전-언어 사전 훈련된 CLIP 모델과 ONNX Runtime 추론 엔진으로 구동되는 Android용 오프라인 의미론적 텍스트-이미지 및 이미지-이미지 검색

slavabarkov
⭐ 525 Kotlin 👤 slavabarkov User 🕐 업데이트됨 2024-03-28 📅 생성됨 2023-02-24
107
huawei-csl/KVarN

KVarN은 에이전트를 위한 네이티브 vLLM KV 캐시 양자화 백엔드입니다. 컨텍스트를 3~5배 더 확보하고, FP16을 뛰어넘는 처리량과 FP16 수준의 정확도를 제공합니다. 캘리브레이션 없이 플래그 하나로 사용할 수 있습니다.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 업데이트됨 2026-06-22 📅 생성됨 2026-05-29
108
turboderp-org/exui

ExLlamaV2용 웹 UI

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 업데이트됨 2025-02-05 📅 생성됨 2023-10-29
109
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

완전 무검열·기능 강화형 Qwen3.6-27B abliteration. 통합 컨테이너 ghcr.io/aeon-7/aeon-vllm-ultimate:latest에서 NVFP4 + z-lab DFlash 추측 디코딩(n=12)을 사용하며, DGX Spark의 긴 컨텍스트 초안 수용률에 맞게 튜닝되었습니다. HF 변형 6종(BF16/NVFP4/MTP/MTP-XS), docker-compose 및 QuickStart 제공.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 업데이트됨 2026-11-13 📅 생성됨 2026-04-25