#quantization 저장소
#quantization 태그가 지정된 GitHub의 활성 오픈 소스 저장소 109개를 확인해 보세요. 총 487,465개의 스타를 획득했으며 프로젝트당 평균 4,472개입니다. 이 주제를 이끄는 저장소는 76,171개의 스타를 받은 hiyouga/LlamaFactory입니다.
저장소 총 109개
중국어 LLaMA & Alpaca 대규모 언어 모델 + 로컬 CPU/GPU 학습 및 배포 (Chinese LLaMA & Alpaca LLMs)
[🔥업데이트 중 ...] AI 자동 정량 거래 봇 (완전 로컬 배포) AI 기반 정량 투자 연구 플랫폼. 📃 온라인 문서: https://ufund-me.github.io/Qbot ✨ :news: qbot-mini: https://github.com/Charmve/iQuant
2.78조 개의 파라미터를 가진 Kimi K3 모델이 8.24GB RAM의 단일 CPU에서 추론을 실행함. 포터블 C99: BLAS 없음, 프레임워크 없음, GPU 없음.
nanoGPT 기반 LLaMA 언어 모델 구현. 플래시 어텐션, Int8 및 GPTQ 4비트 양자화, LoRA 및 LLaMA-어댑터 미세 조정, 사전 학습을 지원합니다. Apache 2.0 라이선스.
fastllm은 백엔드에 의존하지 않는 고성능 대규모 언어 모델 추론 라이브러리로, 대부분의 기기에서 대규모 언어 모델을 효율적으로 추론할 수 있도록 도와줍니다.
AI 인프라 지식 및 코드 연습 공유: PyTorch, vLLM/SGLang, slime/vime 프레임워크 입문⚡️, 성능 가속🚀, 대규모 모델 기초🧠, AI 소프트웨어 및 하드웨어🔧 등
[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention은 FlashAttention에 비해 2~5배의 속도 향상을 달성했으며, 언어, 이미지, 비디오 모델 전반에 걸쳐 엔드 투 엔드(end-to-end) 지표 손실이 없습니다.
사용하기 쉬운 하드웨어 최적화 도구로 🤗 Transformers, Diffusers, TIMM 및 Sentence Transformers의 추론 및 학습을 가속화하세요
GLM-5.3(744B), DeepSeek-V4.1-Flash(748B), MiniMax-M3.1-Flash(428B), GLM-5.3-Flash(321B), Hy4-Flash(220B)를 자체 GPU에서 실행하세요. 8GB VRAM부터 지원하며, NVIDIA와 AMD를 모두 사용할 수 있고, 하나의 대시보드와 OpenAI 및 Anthropic 호환 API를 제공합니다.
실제로 보유한 GPU에서 대형 Qwen 모델을 빠르게 서빙하세요. vLLM을 사용해 24GB 카드 한 장에서 Qwen3.8-27B 실행: 단일 사용자 기준 127 tok/s(응답이 프롬프트를 인용할 때는 381 tok/s), 동시 요청 64개에서 약 1,035 tok/s, 150k~262k 컨텍스트. vLLM 패치, 재양자화 파이프라인, 벤치마크.
SOTA 저비트 LLM 양자화(INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) 및 희소성; PyTorch, TensorFlow 및 ONNX Runtime 기반의 선도적인 모델 압축 기술
자신만의 LLM을 구축, 개인화 및 제어하세요. 데이터 사전 처리부터 미세 조정까지 xTuring은 오픈 소스 LLM을 개인화하는 쉬운 방법을 제공합니다. Discord 커뮤니티에 참여하세요: https://discord.gg/TgHXuSJEk6
micronet, 모델 압축 및 배포 라이브러리. 압축: 1、양자화: 양자화 인식 훈련(QAT), 고비트(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、저비트(≤2b)/삼원 및 이원(TWN/BNN/XNOR-Net); 훈련 후 양자화(PTQ), 8-bit(tensorrt); 2、 가지치기: 일반、규칙적 및 그룹 컨볼루션 채널 가지치기; 3、 그룹 컨볼루션 구조; 4、배치 정규화 융합을 위한 양자화. 배포: tensorrt, fp32/fp16/in
ICLR 2023 논문 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers"의 코드입니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #quantization 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #quantization 프로젝트는 76,171개의 스타를 받은 hiyouga/LlamaFactory입니다. 100개 이상의 LLM 및 VLM의 통합 효율적 미세 조정 (ACL 2024)
#quantization 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #quantization 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, Jupyter Notebook, C입니다.
#quantization 저장소 순위는 어떻게 계산되나요?
#quantization 태그가 지정된 활성 오픈 소스 저장소(109개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 487,465개이며 저장소당 평균 4,472개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.