Git Stars Git Stars

#inference-optimization 저장소

#inference-optimization 태그가 지정된 GitHub의 활성 오픈 소스 저장소 41개를 확인해 보세요. 총 86,309개의 스타를 획득했으며 프로젝트당 평균 2,105개입니다. 이 주제를 이끄는 저장소는 12,902개의 스타를 받은 lllyasviel/stable-diffusion-webui-forge입니다.

41
총 리포지토리
86,309
총 별점
2,105
리포지토리당 평균 스타 수

저장소 총 41개

2
THUDM/slime

slime은 강화 학습 확장을 위한 LLM 학습 프레임워크입니다.

THUDM
⭐ 8,856 Python 👤 THUDM Organization 🕐 업데이트됨 2026-11-05 📅 생성됨 2025-06-18
3
deepseek-ai/open-infra-index

효율적인 AGI 개발 및 커뮤니티 주도 혁신을 위한 프로덕션 테스트 AI 인프라 도구

deepseek-ai
⭐ 8,007 👤 deepseek-ai Organization 🕐 업데이트됨 2025-05-15 📅 생성됨 2025-02-21
4
microsoft/LLMLingua

[EMNLP'23, ACL'24] LLM의 추론 속도를 높이고 LLM의 주요 정보 인식을 향상시키기 위해 프롬프트와 KV-Cache를 압축하여 성능 손실을 최소화하면서 최대 20배의 압축률을 달성합니다.

microsoft
⭐ 6,846 Python 👤 microsoft Organization 🕐 업데이트됨 2026-11-09 📅 생성됨 2023-07-07
5
QwenLM/Qwen3.8

Qwen3.8은 Alibaba Group의 Qwen 팀이 개발한 대규모 언어 모델 시리즈입니다.

QwenLM
⭐ 4,459 👤 QwenLM Organization 🕐 업데이트됨 2026-08-17 📅 생성됨 2025-09-11
7
syv-ai/HyperQwen

실제로 보유한 GPU에서 대형 Qwen 모델을 빠르게 서빙하세요. vLLM을 사용해 24GB 카드 한 장에서 Qwen3.8-27B 실행: 단일 사용자 기준 127 tok/s(응답이 프롬프트를 인용할 때는 381 tok/s), 동시 요청 64개에서 약 1,035 tok/s, 150k~262k 컨텍스트. vLLM 패치, 재양자화 파이프라인, 벤치마크.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 업데이트됨 2026-11-10 📅 생성됨 2026-08-15
8
google/XNNPACK

모바일, 서버 및 웹을 위한 고효율 부동 소수점 신경망 추론 연산자

google
⭐ 2,506 C 👤 google Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2019-09-13
9
XiaomiMiMo/MiMo

MiMo: 언어 모델의 추론 잠재력 잠금 해제 – 사전 훈련부터 사후 훈련까지

XiaomiMiMo
⭐ 2,411 Python 👤 XiaomiMiMo Organization 🕐 업데이트됨 2026-10-29 📅 생성됨 2025-04-26
10
AmberLJC/LLMSys-PaperList

대규모 언어 모델(LLM) 시스템 논문 목록

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 업데이트됨 2026-10-20 📅 생성됨 2023-06-06
11
facebookresearch/blt

BLT 연구 논문 코드

facebookresearch
⭐ 2,070 Python 👤 facebookresearch Organization 🕐 업데이트됨 2025-11-03 📅 생성됨 2024-12-09
12
NUS-HPC-AI-Lab/VideoSys

VideoSys: 비디오 생성을 위한 쉽고 효율적인 시스템

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 업데이트됨 2025-08-27 📅 생성됨 2024-02-17
13
NVIDIA/Stable-Diffusion-WebUI-TensorRT

Stable Diffusion Web UI용 TensorRT 확장 프로그램

NVIDIA
⭐ 1,994 Python 👤 NVIDIA Organization 🕐 업데이트됨 2024-06-14 📅 생성됨 2023-10-10
14
ChenyangSi/FreeU

FreeU: Diffusion U-Net의 무료 점심 (CVPR2024 구두 발표)

ChenyangSi
⭐ 1,892 👤 ChenyangSi User 🕐 업데이트됨 2024-12-24 📅 생성됨 2023-09-14
15
llmgenai/LLMInterviewQuestions

이 리포지토리에는 Google, Nvidia, Meta, Microsoft 및 Fortune 500대 기업과 같은 최고 기업에서 묻는 LLM(대규모 언어 모델) 인터뷰 질문이 포함되어 있습니다.

llmgenai
⭐ 1,781 👤 llmgenai User 🕐 업데이트됨 2025-02-12 📅 생성됨 2024-12-26
16
chengzeyi/Comfy-WaveSpeed

https://wavespeed.ai/ [WIP] ComfyUI를 위한 올인원 추론 최적화 솔루션, 범용적, 유연하며 빠릅니다.

chengzeyi
⭐ 1,235 Python 👤 chengzeyi User 🕐 업데이트됨 2026-08-21 📅 생성됨 2024-11-27
17
EdjeElectronics/TensorFlow-Object-Detection-on-the-Raspberry-Pi

Raspberry Pi에서 TensorFlow의 Object Detection API를 설정하는 방법에 대한 튜토리얼

EdjeElectronics
⭐ 1,156 Python 👤 EdjeElectronics User 🕐 업데이트됨 2024-08-10 📅 생성됨 2018-06-05
18
gpu-mode/awesomeMLSys

ML 시스템 온보딩 목록

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 업데이트됨 2026-02-19 📅 생성됨 2024-05-06
19
huggingface/search-and-learn

오픈 모델의 추론 시간 컴퓨팅을 확장하는 레시피

huggingface
⭐ 1,134 Python 👤 huggingface Organization 🕐 업데이트됨 2026-09-23 📅 생성됨 2024-12-09
21
allenai/OLMoE

OLMoE: 개방형 전문가 혼합 언어 모델

allenai
⭐ 1,087 Jupyter Notebook 👤 allenai Organization 🕐 업데이트됨 2025-09-23 📅 생성됨 2024-06-22
22
onnx/onnx-mlir

MLIR 컴파일러 인프라에서 ONNX 모델의 표현 및 참조 낮추기

onnx
⭐ 1,072 MLIR 👤 onnx Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2020-02-18
23
mryab/efficient-dl-systems

효율적인 딥러닝 시스템 과정 자료

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 업데이트됨 2026-05-28 📅 생성됨 2021-12-06
24
hzwer/Practical-RIFE

더 실용적인 프레임 보간 접근 방식.

hzwer
⭐ 1,050 Python 👤 hzwer User 🕐 업데이트됨 2026-08-27 📅 생성됨 2021-06-16
25
daixiangzi/Awesome-Token-Compress

Vit 및 VLM에 대한 토큰 압축에 관한 일부 최근 작업 목록

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 업데이트됨 2026-11-13 📅 생성됨 2024-09-06
26
FoundationVision/Waver

통합 텍스트-비디오(T2V) 및 이미지-비디오(I2V) 생성을 위한 산업 수준의 비디오 기초 모델.

FoundationVision
⭐ 952 👤 FoundationVision Organization 🕐 업데이트됨 2025-08-27 📅 생성됨 2025-08-05
27
alibaba/BladeDISC

BladeDISC는 머신러닝 워크로드를 위한 엔드 투 엔드 동적 형태 컴파일러 프로젝트입니다.

alibaba
⭐ 911 C++ 👤 alibaba Organization 🕐 업데이트됨 2024-12-30 📅 생성됨 2021-12-20
28
lifeiteng/OmniSenseVoice

Omni SenseVoice: 단어 타임스탬프가 포함된 고속 음성 인식 🗣️🎯

lifeiteng
⭐ 897 Python 👤 lifeiteng User 🕐 업데이트됨 2025-12-10 📅 생성됨 2024-09-22
29
KohakuBlueleaf/a1111-sd-webui-lycoris

lycoris 모델을 로드하는 stable-diffusion-webui용 확장 기능입니다.

KohakuBlueleaf
⭐ 894 Python 👤 KohakuBlueleaf User 🕐 업데이트됨 2024-02-16 📅 생성됨 2023-04-09
30
aiola-lab/whisper-medusa

메두사 머리와 속삭이다

aiola-lab
⭐ 860 Python 👤 aiola-lab Organization 🕐 업데이트됨 2026-07-02 📅 생성됨 2024-07-17
31
datawhalechina/llm-algo-leetcode

PyTorch, Triton, CUDA를 활용해 LLM 알고리즘과 시스템을 실습합니다. 《LLM 알고리즘 및 시스템 튜토리얼》에서는 모델 아키텍처와 학습, 후속 학습, 추론 가속, 성능 및 연산자 최적화를 다루며, Notebook 실습, 정답 해설, 테스트와 실험도 제공합니다.

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-04-01
32
tensorflow/runtime

TensorFlow를 위한 성능이 뛰어난 모듈식 런타임

tensorflow
⭐ 754 C++ 👤 tensorflow Organization 🕐 업데이트됨 2025-09-04 📅 생성됨 2020-04-24
33
IEIT-Yuan/Yuan-2.0

Yuan 2.0 대규모 언어 모델

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 업데이트됨 2024-07-11 📅 생성됨 2023-11-26
34
microsoft/VPTQ

VPTQ, 유연하고 극도로 낮은 비트 양자화 알고리즘

microsoft
⭐ 683 Python 👤 microsoft Organization 🕐 업데이트됨 2026-08-04 📅 생성됨 2024-08-13
36
HybridTalentComputing/cline-chinese

Cline 중국어 현지화 버전, Cline은 IDE 내에서 실행되는 자율 프로그래밍 도우미로, 귀하의 허가를 받아 파일을 생성/편집하고, 명령을 실행하며, 브라우저를 사용하는 등의 기능을 수행할 수 있습니다.

HybridTalentComputing
⭐ 660 TypeScript 👤 HybridTalentComputing User 🕐 업데이트됨 2026-07-14 📅 생성됨 2025-02-07
38
HazyResearch/aisys-building-blocks

기초 모델을 위한 빌딩 블록.

HazyResearch
⭐ 587 👤 HazyResearch Organization 🕐 업데이트됨 2024-01-03 📅 생성됨 2023-11-30
39
brontoguana/krasis

Krasis는 VRAM이 제한된 소비자용 하드웨어에서 대규모 모델을 효율적으로 실행하는 데 중점을 둔 하이브리드 LLM 런타임입니다

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 업데이트됨 2026-11-12 📅 생성됨 2026-02-09
40
amitshekhariitbhu/llm-inference-engineering

KV 캐시, PagedAttention, 연속 배칭부터 vLLM, SGLang, GPU까지 LLM 추론 엔지니어링을 단계별로 배워 보세요.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 업데이트됨 2026-11-09 📅 생성됨 2026-08-18
41
YingqingHe/ScaleCrafter

[ICLR 2024 Spotlight] 추론 시 더 높은 해상도의 시각적 생성을 위한 ScaleCrafter 공식 구현.

YingqingHe
⭐ 508 Python 👤 YingqingHe User 🕐 업데이트됨 2024-03-07 📅 생성됨 2023-10-07

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #inference-optimization 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #inference-optimization 프로젝트는 12,902개의 스타를 받은 lllyasviel/stable-diffusion-webui-forge입니다.

2

#inference-optimization 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #inference-optimization 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, Jupyter Notebook, C++, C입니다.

3

#inference-optimization 저장소 순위는 어떻게 계산되나요?

#inference-optimization 태그가 지정된 활성 오픈 소스 저장소(41개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 86,309개이며 저장소당 평균 2,105개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.