Git Stars Git Stars

#speculative-decoding 저장소

#speculative-decoding 태그가 지정된 GitHub의 활성 오픈 소스 저장소 37개를 확인해 보세요. 총 83,160개의 스타를 획득했으며 프로젝트당 평균 2,247개입니다. 이 주제를 이끄는 저장소는 11,898개의 스타를 받은 OpenBMB/MiniCPM입니다.

37
총 리포지토리
83,160
총 별점
2,247
리포지토리당 평균 스타 수

저장소 총 37개

1
OpenBMB/MiniCPM

MiniCPM5: 온디바이스 최고 수준 LLM, 작지만 강력합니다.

OpenBMB
⭐ 11,898 Jupyter Notebook 👤 OpenBMB Organization 🕐 업데이트됨 2026-11-09 📅 생성됨 2024-01-29
2
karminski/one-small-step

이것은 흥미롭고 최첨단 기술 개념과 원리를 설명하는 데 초점을 맞춘 간단한 기술科普 튜토리얼 프로젝트입니다. 각 기사는 5분 안에 읽기를 완료하도록 노력합니다.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 업데이트됨 2026-03-08 📅 생성됨 2025-01-16
3
z-lab/dflash

DFlash: 플래시 사전 디코딩을 위한 블록 디퓨전

z-lab
⭐ 6,254 Python 👤 z-lab Organization 🕐 업데이트됨 2026-08-18 📅 생성됨 2026-01-04
4
meta-pytorch/gpt-fast

1000줄 미만의 Python 코드로 구현된 간단하고 효율적인 PyTorch 네이티브 트랜스포머 텍스트 생성.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 업데이트됨 2025-08-22 📅 생성됨 2023-10-17
5
NVIDIA/Model-Optimizer

양자화, 증류, 가지치기(pruning), 신경 아키텍처 검색, 추론적 디코딩 등 SOTA 모델 최적화 기술을 통합한 라이브러리입니다. TensorRT-LLM, TensorRT, vLLM과 같은 다운스트림 배포 프레임워크를 위해 딥러닝 모델을 압축하여 추론 속도를 최적화합니다.

NVIDIA
⭐ 5,646 Python 👤 NVIDIA Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-04-23
6
raullenchai/Rapid-MLX

Rapid-MLX는 Apple Silicon용 오픈 소스(Apache 2.0) LLM 추론 서버로, OpenAI 및 Anthropic과 호환되며 MLX를 기반으로 구축되었습니다. 코딩 에이전트를 위한 안정적인 도구 호출에 중점을 둡니다. 동일한 가중치를 사용할 때 Apple의 MLX(mlx-lm)보다 최대 4배 빠릅니다.

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-25
7
radixark/miles

Miles는 LLM 및 VLM 사후 훈련을 위한 엔터프라이즈 지향 강화 학습 프레임워크로, 슬라임에서 포크되었으며 슬라임과 함께 공진화하고 있습니다.

radixark
⭐ 3,386 Python 👤 radixark Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-10-09
8
Luce-Org/lucebox

이기종 하드웨어 및 소비자용 GPU를 위한 Lucebox 추론 엔진

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-04-03
9
syv-ai/HyperQwen

실제로 보유한 GPU에서 대형 Qwen 모델을 빠르게 서빙하세요. vLLM을 사용해 24GB 카드 한 장에서 Qwen3.8-27B 실행: 단일 사용자 기준 127 tok/s(응답이 프롬프트를 인용할 때는 381 tok/s), 동시 요청 64개에서 약 1,035 tok/s, 150k~262k 컨텍스트. vLLM 패치, 재양자화 파이프라인, 벤치마크.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 업데이트됨 2026-11-10 📅 생성됨 2026-08-15
10
youssofal/MTPLX

Mac에서 Qwen 3.8 Flash Next, Qwen 3.8 27B 및 Ternary Bonsai 2 27B를 실행하는 가장 빠른 방법: M5 Max의 OpenCode에서 초당 125토큰, 16GB Mac에서 27B 모델 실행. Apple Silicon에서 네이티브 MTP 추측 디코딩을 지원하며, 어떤 온도에서도 정확합니다. OpenAI 및 Anthropic 호환 로컬 서버.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-05-02
11
incoai/splash

모델을 중심으로 구축된 Apple 실리콘용 로컬 추론 엔진입니다.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-09-18
12
SafeAILab/EAGLE

EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24), 및 EAGLE-3 (NeurIPS'25)의 공식 구현.

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 업데이트됨 2026-02-20 📅 생성됨 2023-12-07
13
dphnAI/sonar

대규모 LLM 추론 엔진

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2023-06-23
14
Tencent/AngelSlim

향상된 사용성, 포괄성 및 효율성을 위해 설계된 모델 압축 툴킷.

Tencent
⭐ 1,811 Python 👤 Tencent Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-07-04
15
sybil-solutions/inference-optimisation-skill

모든 하드웨어 및 양자화 설정에서 로컬 LLM 서빙 속도(디코딩, 추측 디코딩, 프리필, KV, 시작, TTFT)를 단계적으로 최적화하는 에이전트 스킬

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-11-16
16
peonist-ai/halogen-flash-server

최첨단 API처럼 작동하는 로컬 추론: AMD Strix Halo의 Qwen3.8-Flash-Next와 소형 NPU 모델을 OpenAI 및 Anthropic API를 통해 단일 포트에서 제공합니다.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-08-26
17
synchopate/llama-modchip

30B~284B MoE 모델을 위한 제로 GPU CPU 추론(Qwen3.8 176.5B는 28.26/48.35 GiB Cgroup v2 콜드 캐시 환경에서 인증 완료, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-29
18
hao-ai-lab/LookaheadDecoding

[ICML 2024] 사전 보기 디코딩을 사용하여 LLM 추론의 순차적 종속성 깨기

hao-ai-lab
⭐ 1,337 Python 👤 hao-ai-lab Organization 🕐 업데이트됨 2025-03-06 📅 생성됨 2023-11-21
19
simplexai-labs/PolyStrata

대규모 AI 모델을 자신의 PC에서 실행하세요. Strata 엔진에서는 Qwen3.8-Flash-Next를, PolyStrata용으로 제작된 두 번째 엔진에서는 GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder, MiniCPM-V를 실행할 수 있습니다. Windows와 Linux에 원클릭으로 설치할 수 있으며, localhost에서 OpenAI/Anthropic API를 제공합니다.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-10-06
20
hemingkx/SpeculativeDecodingPapers

📰 Speculative Decoding에 대한 필수 논문 및 블로그 ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 업데이트됨 2026-06-27 📅 생성됨 2023-09-20
21
eagle-hq/EAGLE-4

EAGLE-4 공식 추론 코드

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2026-10-20
22
StayLameBro/backburner

iPhone이 Mac의 270억 개 파라미터 모델 실행을 지원합니다: USB-C 케이블을 통해 프롬프트를 더 빠르게 읽고 더 많은 컨텍스트를 처리

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 업데이트됨 2026-11-07 📅 생성됨 2026-10-01
23
vllm-project/speculators

vLLM에서 LLM 추론을 위한 추측적 디코딩 알고리즘을 구축, 평가 및 저장하기 위한 통합 라이브러리

vllm-project
⭐ 972 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-04-08
24
chrisliu298/awesome-on-policy-distillation

대규모 언어 모델의 온-폴리시 증류(OPD)에 관한 논문, 기술 보고서, 프레임워크 및 도구의 엄선된 컬렉션

chrisliu298
⭐ 926 👤 chrisliu298 User 🕐 업데이트됨 2026-10-06 📅 생성됨 2026-03-22
25
feifeibear/LLMSpeculativeSampling

투기적 디코딩을 통한 대규모 언어 모델의 빠른 추론

feifeibear
⭐ 875 Python 👤 feifeibear User 🕐 업데이트됨 2024-08-22 📅 생성됨 2023-08-16
26
nace-ai/kapitsa

Qwen 및 Nemotron에 최적화된 Apple Silicon용 초고속 추론 엔진입니다. OpenAI 및 Anthropic API와 호환됩니다. nace.ai 팀이 개발했습니다.

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-16
27
ARahim3/kaggle-tpu-lab

무료 Kaggle TPU v5e-8에서 실행되는 프런티어급 오픈 모델: GLM-5.3-Flash 320B MoE(약 165 tok/s, 자체 JAX 엔진 사용) 및 Qwen3.8-27B bf16(약 130 tok/s), 262k 컨텍스트와 프리픽스 캐싱 지원. Claude Code, Codex, opencode, pi와 함께 사용할 수 있습니다.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 업데이트됨 2026-10-06 📅 생성됨 2026-08-31
28
ARahim3/mlx-dspark

Apple Silicon에서 LLM 디코딩을 최대 4배 더 빠르게, 무손실. DeepSeek의 DSpark 및 z-lab의 DFlash 추측 디코딩을 네이티브 MLX로 포팅 — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, 삼진 Bonsai-27B 지원.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 업데이트됨 2026-11-08 📅 생성됨 2026-06-29
29
prabanta-dev/janas

32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-20
30
Avarok-Cybersecurity/atlas

순수 Rust 추론 엔진

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-05-05
32
MDK8888/GPTFast

Hugging Face Transformers를 7.6-9배 가속하세요. Hugging Face 및 PyTorch 기반입니다.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 업데이트됨 2024-08-22 📅 생성됨 2024-02-18
33
Nehanth/pooled

브라우저에서의 P2P LLM 추론: 기기를 함께 묶어 대규모 오픈 모델을 실행하고, 채팅 및 코딩 에이전트에 활용하세요.

Nehanth
⭐ 658 JavaScript 👤 Nehanth User 🕐 업데이트됨 2026-11-03 📅 생성됨 2026-09-01
35
zengxiao-he/tessera

교사에서 타일까지 — 처음부터 구축한 LLM 증류 및 서빙 엔진: 맞춤형 Triton/CUDA 커널, FSDP 증류, 페이징 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 업데이트됨 2026-10-09 📅 생성됨 2026-06-05
36
turboderp-org/exui

ExLlamaV2용 웹 UI

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 업데이트됨 2025-02-05 📅 생성됨 2023-10-29
37
AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-DFlash

완전 무검열·기능 강화형 Qwen3.6-27B abliteration. 통합 컨테이너 ghcr.io/aeon-7/aeon-vllm-ultimate:latest에서 NVFP4 + z-lab DFlash 추측 디코딩(n=12)을 사용하며, DGX Spark의 긴 컨텍스트 초안 수용률에 맞게 튜닝되었습니다. HF 변형 6종(BF16/NVFP4/MTP/MTP-XS), docker-compose 및 QuickStart 제공.

AEON-7
⭐ 501 Python 👤 AEON-7 User 🕐 업데이트됨 2026-11-13 📅 생성됨 2026-04-25

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #speculative-decoding 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #speculative-decoding 프로젝트는 11,898개의 스타를 받은 OpenBMB/MiniCPM입니다. MiniCPM5: 온디바이스 최고 수준 LLM, 작지만 강력합니다.

2

#speculative-decoding 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #speculative-decoding 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, Jupyter Notebook, JavaScript입니다.

3

#speculative-decoding 저장소 순위는 어떻게 계산되나요?

#speculative-decoding 태그가 지정된 활성 오픈 소스 저장소(37개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 83,160개이며 저장소당 평균 2,247개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.