#quantization 저장소
저장소 총 109개
30B~284B MoE 모델을 위한 제로 GPU CPU 추론(Qwen3.8 176.5B는 28.26/48.35 GiB Cgroup v2 콜드 캐시 환경에서 인증 완료, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
원본 이미지부터 실시간 추론까지 컴퓨터 비전 모델을 로컬에서 구축, 학습, 최적화 및 실행하세요. 오픈 소스이며 Intel® XPU에 최적화되어 있습니다(CUDA도 지원).
HF, vLLM, SGLang을 통해 Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, Huawei Ascend NPU 및 Intel/AMD/Apple CPU의 하드웨어 가속을 지원하는 LLM 모델 양자화(압축) 툴킷.
Z80-μLM은 8비트 Z80 프로세서에서 실행될 수 있을 만큼 작은 2비트 양자화 언어 모델입니다. Python에서 대화 모델을 훈련하고, 이를 CP/M .COM 바이너리로 내보내어, 빈티지 컴퓨터와 채팅할 수 있습니다.
환각을 최소화하는 프로덕션 준비 RAG 시스템 구축을 위한 청사진으로, 전환 가능한 3단계(속도) 및 4단계(정밀도) 파이프라인을 특징으로 합니다.
ONNX 파일을 LiteRT/TFLite/TensorFlow, PyTorch 네이티브 코드 (nn.Module), TorchScript (.pt), state_dict (.pt), Exported Program (.pt2), Dynamo ONNX로 변환하는 도구입니다. 또한 LiteRT에서 PyTorch로의 직접 변환도 지원합니다.
[NeurIPS 2020] MCUNet: IoT 기기에서의 초소형 딥러닝; [NeurIPS 2021] MCUNetV2: 초소형 딥러닝을 위한 메모리 효율적인 패치 기반 추론; [NeurIPS 2022] MCUNetV3: 256KB 미만의 메모리로 온디바이스 학습
AMD Ryzen™ AI 소프트웨어에는 AMD Ryzen™ AI 지원 PC에서 AI 추론을 최적화하고 배포하기 위한 도구 및 런타임 라이브러리가 포함되어 있습니다.
ICML 2023 논문 "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot"에 대한 코드입니다.
[MLSys'25] QServe: 효율적인 LLM 서빙을 위한 W4A8KV4 양자화 및 시스템 공동 설계; [MLSys'25] LServe: 통합 희소 주의를 사용한 긴 시퀀스 LLM의 효율적인 서빙
PyTorch, Triton, CUDA를 활용해 LLM 알고리즘과 시스템을 실습합니다. 《LLM 알고리즘 및 시스템 튜토리얼》에서는 모델 아키텍처와 학습, 후속 학습, 추론 가속, 성능 및 연산자 최적화를 다루며, Notebook 실습, 정답 해설, 테스트와 실험도 제공합니다.
[EMNLP 2024 & AAAI 2026] LLM, VLM 및 비디오 생성 모델을 포함한 대규모 모델 압축을 위한 강력한 툴킷입니다.
32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.
AI 가을 채용을 위한 중·영 이중 언어 ML / LLM / diffusion / agent 면접 치트시트 — ARIS /interview-cheatsheet로 생성하고 /render-html로 어디서나 읽을 수 있는 단일 파일 HTML로 렌더링 — CV→DBLP 대조로 사실 확인한 학술 홈페이지 생성기와 직접 작성한 장문 블로그도 제공 🌱
SINQ의 공식 저장소에 오신 것을 환영합니다! 대형 언어 모델을 정확도를 유지하면서 더 작게 만드는 것을 위해 설계된 새로운, 빠르고 고품질 양자화 방법 [ICML 2026]
대규모 언어 모델(LLM)의 추론을 분석합니다. 사용자 친화적인 인터페이스에서 계산, 저장, 전송 및 하드웨어 지붕선 모델과 같은 측면을 분석합니다.