#speculative-decoding 저장소
#speculative-decoding 태그가 지정된 GitHub의 활성 오픈 소스 저장소 37개를 확인해 보세요. 총 83,160개의 스타를 획득했으며 프로젝트당 평균 2,247개입니다. 이 주제를 이끄는 저장소는 11,898개의 스타를 받은 OpenBMB/MiniCPM입니다.
저장소 총 37개
이것은 흥미롭고 최첨단 기술 개념과 원리를 설명하는 데 초점을 맞춘 간단한 기술科普 튜토리얼 프로젝트입니다. 각 기사는 5분 안에 읽기를 완료하도록 노력합니다.
양자화, 증류, 가지치기(pruning), 신경 아키텍처 검색, 추론적 디코딩 등 SOTA 모델 최적화 기술을 통합한 라이브러리입니다. TensorRT-LLM, TensorRT, vLLM과 같은 다운스트림 배포 프레임워크를 위해 딥러닝 모델을 압축하여 추론 속도를 최적화합니다.
Rapid-MLX는 Apple Silicon용 오픈 소스(Apache 2.0) LLM 추론 서버로, OpenAI 및 Anthropic과 호환되며 MLX를 기반으로 구축되었습니다. 코딩 에이전트를 위한 안정적인 도구 호출에 중점을 둡니다. 동일한 가중치를 사용할 때 Apple의 MLX(mlx-lm)보다 최대 4배 빠릅니다.
Miles는 LLM 및 VLM 사후 훈련을 위한 엔터프라이즈 지향 강화 학습 프레임워크로, 슬라임에서 포크되었으며 슬라임과 함께 공진화하고 있습니다.
실제로 보유한 GPU에서 대형 Qwen 모델을 빠르게 서빙하세요. vLLM을 사용해 24GB 카드 한 장에서 Qwen3.8-27B 실행: 단일 사용자 기준 127 tok/s(응답이 프롬프트를 인용할 때는 381 tok/s), 동시 요청 64개에서 약 1,035 tok/s, 150k~262k 컨텍스트. vLLM 패치, 재양자화 파이프라인, 벤치마크.
Mac에서 Qwen 3.8 Flash Next, Qwen 3.8 27B 및 Ternary Bonsai 2 27B를 실행하는 가장 빠른 방법: M5 Max의 OpenCode에서 초당 125토큰, 16GB Mac에서 27B 모델 실행. Apple Silicon에서 네이티브 MTP 추측 디코딩을 지원하며, 어떤 온도에서도 정확합니다. OpenAI 및 Anthropic 호환 로컬 서버.
모든 하드웨어 및 양자화 설정에서 로컬 LLM 서빙 속도(디코딩, 추측 디코딩, 프리필, KV, 시작, TTFT)를 단계적으로 최적화하는 에이전트 스킬
최첨단 API처럼 작동하는 로컬 추론: AMD Strix Halo의 Qwen3.8-Flash-Next와 소형 NPU 모델을 OpenAI 및 Anthropic API를 통해 단일 포트에서 제공합니다.
30B~284B MoE 모델을 위한 제로 GPU CPU 추론(Qwen3.8 176.5B는 28.26/48.35 GiB Cgroup v2 콜드 캐시 환경에서 인증 완료, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
대규모 AI 모델을 자신의 PC에서 실행하세요. Strata 엔진에서는 Qwen3.8-Flash-Next를, PolyStrata용으로 제작된 두 번째 엔진에서는 GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder, MiniCPM-V를 실행할 수 있습니다. Windows와 Linux에 원클릭으로 설치할 수 있으며, localhost에서 OpenAI/Anthropic API를 제공합니다.
iPhone이 Mac의 270억 개 파라미터 모델 실행을 지원합니다: USB-C 케이블을 통해 프롬프트를 더 빠르게 읽고 더 많은 컨텍스트를 처리
대규모 언어 모델의 온-폴리시 증류(OPD)에 관한 논문, 기술 보고서, 프레임워크 및 도구의 엄선된 컬렉션
Qwen 및 Nemotron에 최적화된 Apple Silicon용 초고속 추론 엔진입니다. OpenAI 및 Anthropic API와 호환됩니다. nace.ai 팀이 개발했습니다.
무료 Kaggle TPU v5e-8에서 실행되는 프런티어급 오픈 모델: GLM-5.3-Flash 320B MoE(약 165 tok/s, 자체 JAX 엔진 사용) 및 Qwen3.8-27B bf16(약 130 tok/s), 262k 컨텍스트와 프리픽스 캐싱 지원. Claude Code, Codex, opencode, pi와 함께 사용할 수 있습니다.
Apple Silicon에서 LLM 디코딩을 최대 4배 더 빠르게, 무손실. DeepSeek의 DSpark 및 z-lab의 DFlash 추측 디코딩을 네이티브 MLX로 포팅 — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, 삼진 Bonsai-27B 지원.
32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.
교사에서 타일까지 — 처음부터 구축한 LLM 증류 및 서빙 엔진: 맞춤형 Triton/CUDA 커널, FSDP 증류, 페이징 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구.
완전 무검열·기능 강화형 Qwen3.6-27B abliteration. 통합 컨테이너 ghcr.io/aeon-7/aeon-vllm-ultimate:latest에서 NVFP4 + z-lab DFlash 추측 디코딩(n=12)을 사용하며, DGX Spark의 긴 컨텍스트 초안 수용률에 맞게 튜닝되었습니다. HF 변형 6종(BF16/NVFP4/MTP/MTP-XS), docker-compose 및 QuickStart 제공.
자주 묻는 질문
GitHub에서 가장 인기 있는 #speculative-decoding 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #speculative-decoding 프로젝트는 11,898개의 스타를 받은 OpenBMB/MiniCPM입니다. MiniCPM5: 온디바이스 최고 수준 LLM, 작지만 강력합니다.
#speculative-decoding 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #speculative-decoding 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, Jupyter Notebook, JavaScript입니다.
#speculative-decoding 저장소 순위는 어떻게 계산되나요?
#speculative-decoding 태그가 지정된 활성 오픈 소스 저장소(37개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 83,160개이며 저장소당 평균 2,247개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.