Git Stars Git Stars

#inference 저장소

#inference 태그가 지정된 GitHub의 활성 오픈 소스 저장소 144개를 확인해 보세요. 총 870,238개의 스타를 획득했으며 프로젝트당 평균 6,043개입니다. 이 주제를 이끄는 저장소는 97,302개의 스타를 받은 vllm-project/vllm입니다.

144
총 리포지토리
870,238
총 별점
6,043
리포지토리당 평균 스타 수

저장소 총 144개

1
vllm-project/vllm

LLM을 위한 고성능, 메모리 효율적인 추론 및 서빙 엔진

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-02-09
2
ultralytics/yolov5

PyTorch 기반 Ultralytics YOLOv5: 객체 탐지, 인스턴스 분할, 분류, 학습 및 내보내기 지원.

ultralytics
⭐ 58,290 Python 👤 ultralytics Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2020-05-18
3
ggml-org/whisper.cpp

C/C++로 OpenAI의 Whisper 모델 포팅

ggml-org
⭐ 55,392 C++ 👤 ggml-org Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2022-09-25
4
deepspeedai/DeepSpeed

DeepSpeed는 분산 훈련과 추론을 쉽고, 효율적이며 효과적으로 만드는 딥러닝 최적화 라이브러리입니다.

deepspeedai
⭐ 43,348 Python 👤 deepspeedai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2020-01-23
5
hpcaitech/ColossalAI

대규모 AI 모델을 더 저렴하고, 빠르고, 쉽게 이용 가능하도록 만들기

hpcaitech
⭐ 41,421 Python 👤 hpcaitech Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2021-10-28
6
sgl-project/sglang

SGLang은 대규모 언어 모델 및 멀티모달 모델을 위한 고성능 서빙 프레임워크입니다.

sgl-project
⭐ 38,899 Python 👤 sgl-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-01-08
7
google-ai-edge/mediapipe

크로스 플랫폼, 사용자 정의 가능한 ML 솔루션: 라이브 및 스트리밍 미디어용.

google-ai-edge
⭐ 37,769 C++ 👤 google-ai-edge Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2019-06-13
8
SYSTRAN/faster-whisper

CTranslate2를 이용한 더 빠른 Whisper 전사

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2023-02-11
9
Tencent/ncnn

ncnn은 모바일 플랫폼에 최적화된 고성능 신경망 추론 프레임워크입니다

Tencent
⭐ 24,082 C++ 👤 Tencent Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2017-06-30
10
stas00/ml-engineering

머신러닝 엔지니어링 오픈 북

stas00
⭐ 19,738 Python 👤 stas00 User 🕐 업데이트됨 2026-11-20 📅 생성됨 2020-09-02
11
FlashML-org/FreeToken

FreeToken은 데이터 센터급 모델 서빙을 데스크톱으로 제공합니다. 대규모 모델을 로컬에서 빠르고 효율적으로 실행하세요.

FlashML-org
⭐ 17,522 Python 👤 FlashML-org User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-07-20
⭐ 16,519 Python 👤 GeeeekExplorer User 🕐 업데이트됨 2026-04-26 📅 생성됨 2025-06-09
13
gvergnaud/ts-pattern

🎨 TypeScript를 위한 스마트 타입 추론 기능을 갖춘 포괄적인 패턴 매칭 라이브러리입니다.

gvergnaud
⭐ 15,224 TypeScript 👤 gvergnaud User 🕐 업데이트됨 2026-11-20 📅 생성됨 2020-05-24
14
NVIDIA/TensorRT

NVIDIA® TensorRT™는 NVIDIA GPU에서 고성능 딥러닝 추론을 위한 SDK입니다. 이 저장소에는 TensorRT의 오픈 소스 구성 요소가 포함되어 있습니다.

NVIDIA
⭐ 13,475 C++ 👤 NVIDIA Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2019-05-02
15
LMCache/LMCache

LMCache: 가장 빠른 KV 캐시 계층으로 LLM 성능을 극대화하세요

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-05-28
16
openvinotoolkit/openvino

OpenVINO™는 AI 추론을 최적화하고 배포하기 위한 오픈 소스 툴킷입니다.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-10-15
17
triton-inference-server/server

Triton Inference Server는 최적화된 클라우드 및 엣지 추론 솔루션을 제공합니다.

triton-inference-server
⭐ 11,156 Python 👤 triton-inference-server Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2018-10-04
18
aws/amazon-sagemaker-examples

🧠 Amazon SageMaker를 사용하여 머신 러닝 모델을 구축, 훈련 및 배포하는 방법을 보여주는 예제 📓 Jupyter 노트북.

aws
⭐ 11,020 Jupyter Notebook 👤 aws Organization 🕐 업데이트됨 2026-10-14 📅 생성됨 2017-10-23
19
huggingface/text-generation-inference

대규모 언어 모델 텍스트 생성 추론

huggingface
⭐ 10,812 Python 👤 huggingface Organization 🕐 업데이트됨 2026-01-08 📅 생성됨 2022-10-08
20
ultralytics/yolov3

실시간 객체 탐지를 위한 YOLOv3, YOLOv3-SPP 및 YOLOv3-tiny의 PyTorch 구현으로, 학습, 검증, 추론 및 다중 형식 내보내기를 지원합니다.

ultralytics
⭐ 10,647 Python 👤 ultralytics Organization 🕐 업데이트됨 2026-11-07 📅 생성됨 2018-08-26
21
RunanywhereAI/runanywhere-sdks

로컬에서 AI를 실행하기 위한 프로덕션 준비 툴킷

RunanywhereAI
⭐ 10,354 C++ 👤 RunanywhereAI Organization 🕐 업데이트됨 2026-11-10 📅 생성됨 2025-07-22
22
xorbitsai/inference

언어, 비전, 임베딩, 재순위화, 이미지, 오디오 및 비디오 모델을 위한 오픈 소스 추론 플랫폼입니다. 여러 엔진을 사용해 노트북부터 분산 클러스터까지 다양한 하드웨어 환경에 배포할 수 있습니다. OpenAI 호환 API를 통해 모델을 제공합니다.

xorbitsai
⭐ 9,667 Python 👤 xorbitsai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-06-14
23
oumi-ai/oumi

Qwen, Gemma 또는 모든 오픈 에이전틱 LLM/VLM을 쉽게 파인튜닝(SFT/RL)하고 평가 및 배포하세요!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-05-07
24
dusty-nv/jetson-inference

TensorRT와 NVIDIA Jetson을 사용한 딥러닝 추론 네트워크 및 딥 비전 기본 요소 배포 가이드: Hello AI World

dusty-nv
⭐ 9,015 C++ 👤 dusty-nv User 🕐 업데이트됨 2025-10-16 📅 생성됨 2016-07-30
25
vllm-project/vllm-omni

옴니 모달리티 모델을 사용한 효율적인 모델 추론을 위한 프레임워크

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-09-11
26
Human-Agent-Society/reef

지속적으로 자기 개선하는 에이전트를 위한 인프라

Human-Agent-Society
⭐ 7,652 Python 👤 Human-Agent-Society Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-08-31
27
mizorewww/laya-mlx

Laya 타입 결정 모델을 위한 네이티브 MLX 런타임 — M3 Max에서 짧은 결정을 7~14ms에 처리합니다. 텍스트 생성, PyTorch 또는 클라우드 API를 사용하지 않습니다.

mizorewww
⭐ 7,115 Python 👤 mizorewww User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-09-19
28
kvcache-ai/Mooncake

Mooncake는 Moonshot AI가 제공하는 선도적인 LLM 서비스인 Kimi의 서빙 플랫폼입니다.

kvcache-ai
⭐ 7,100 C++ 👤 kvcache-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-06-25
29
gcanti/io-ts

IO 디코딩/인코딩을 위한 런타임 타입 시스템

gcanti
⭐ 6,812 TypeScript 👤 gcanti User 🕐 업데이트됨 2024-12-10 📅 생성됨 2017-01-28
30
vllm-project/semantic-router

모델과 컴퓨팅을 위한 개방형 프로그래밍 가능 의사결정 레이어.

vllm-project
⭐ 6,514 Go 👤 vllm-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-08-26
31
argmaxinc/argmax-oss-swift

Apple Silicon용 온디바이스 음성 AI

argmaxinc
⭐ 6,471 Swift 👤 argmaxinc Organization 🕐 업데이트됨 2026-10-27 📅 생성됨 2024-01-26
32
Trusted-AI/adversarial-robustness-toolbox

적대적 견고성 도구 상자 (ART) - 머신러닝 보안을 위한 Python 라이브러리 - 회피, 중독, 추출, 추론 - 레드팀과 블루팀

Trusted-AI
⭐ 6,322 Python 👤 Trusted-AI Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2018-03-15
33
gpustack/gpustack

고성능 AI 모델 서빙(vLLM, SGLang) 및 온디맨드 SSH 접속 가능 GPU 인스턴스를 위한 GPU 클러스터 관리자.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-05-11
34
llm-d/llm-d

Kubernetes에서 최신 가속기를 활용한 최첨단 추론 성능

llm-d
⭐ 5,325 Python 👤 llm-d Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-04-29
35
superduper-io/superduper

Superduper: 맞춤형 AI 애플리케이션 및 에이전트 구축을 위한 엔드투엔드 프레임워크.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 업데이트됨 2025-09-01 📅 생성됨 2022-08-30
36
tencentmusic/cube-studio

cube studio 오픈소스 클라우드 네이티브 올인원 머신러닝/딥러닝/대규모 모델 AI 플랫폼, MLOps 알고리즘 링크 전체 프로세스, 컴퓨팅 파워 대여 플랫폼, 노트북 온라인 개발, 드래그 앤 드롭 작업 흐름 파이프라인 오케스트레이션, 다중 머신 다중 GPU 분산 학습, 하이퍼파라미터 검색, 추론 서비스 VGPU 가상화, 엣지 컴퓨팅, 주석 플랫폼 자동화 주석, Deepseek 등 대규모 모델 SFT 미세 조정/보상 모델/강화 학습 훈련, vLLM/Ollama/MindSpore 등 대규모 모델 다중 머신 추론, 비공개 지식 베이스, AI 모델 마켓, 국산 CPU/GPU/NPU Ascend 생태계 지원, RDMA 지원, PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano 등 분산 지원

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 업데이트됨 2026-10-09 📅 생성됨 2021-08-17
37
NVIDIA-AI-IOT/torch2trt

사용하기 쉬운 PyTorch에서 TensorRT로 변환기

NVIDIA-AI-IOT
⭐ 4,840 Python 👤 NVIDIA-AI-IOT Organization 🕐 업데이트됨 2024-08-17 📅 생성됨 2019-04-27
38
hao-ai-lab/FastVideo

가속화된 비디오 생성을 위한 통합 추론 및 후처리 프레임워크.

hao-ai-lab
⭐ 4,833 Python 👤 hao-ai-lab Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-10-24
39
OpenNMT/CTranslate2

Transformer 모델을 위한 빠른 추론 엔진

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2019-09-23
40
Tencent/TNN

TNN: Tencent Youtu Lab 및 Guangying Lab에서 개발한 모바일, 데스크톱 및 서버용 통합 딥러닝 추론 프레임워크입니다. TNN은 크로스 플랫폼 기능, 높은 성능, 모델 압축 및 코드 가지치기를 포함한 몇 가지 뛰어난 기능으로 구별됩니다. ncnn 및 Rapidnet을 기반으로 TNN은 모바일 장치에 대한 지원 및 성능 최적화를 더욱 강화하며, 기존 오픈 소스 노력의 우수한 확장성 및 고성능 이점도 활용합니다.

Tencent
⭐ 4,635 C++ 👤 Tencent Organization 🕐 업데이트됨 2025-05-09 📅 생성됨 2020-05-29
41
typedb/typedb

TypeDB: 레코드가 아닌 시스템을 위해 구축되었습니다

typedb
⭐ 4,524 Rust 👤 typedb Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2016-07-11
42
openvinotoolkit/open_model_zoo

사전 훈련된 딥러닝 모델 및 데모 (고품질 및 극도로 빠름)

openvinotoolkit
⭐ 4,440 Python 👤 openvinotoolkit Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2018-10-15
43
zml/zml

모든 모델. 모든 하드웨어. 타협 없음. @ziglang / @openxla / MLIR / @bazelbuild로 구축됨

zml
⭐ 4,292 Zig 👤 zml Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-09-17
44
uxlfoundation/oneDNN

CPU(x64, AArch64, RISC-V) 및 Intel GPU를 위한 최적화된 딥 러닝 연산(행렬 곱셈, 컨볼루션, 어텐션) 오픈 소스 라이브러리입니다. PyTorch, TensorFlow, OpenVINO, ONNX Runtime에서 사용됩니다.

uxlfoundation
⭐ 4,094 C++ 👤 uxlfoundation Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-05-09
45
OpenCSGs/csghub

CSGHub는 OpenCSG 팀이 개발한 LLM 관리를 위한 새로운 오픈 소스 플랫폼입니다. Hugging Face와 유사한 기능을 제공하는 오픈 소스 및 온프레미스/SaaS 솔루션을 모두 제공합니다. Hugging Face와의 Python SDK 호환성을 통해 LLM, 데이터셋 및 에이전트의 전체 수명 주기를 완벽하게 제어하세요. 지금 참여하세요! ⭐️

OpenCSGs
⭐ 4,083 Vue 👤 OpenCSGs Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2024-01-12
46
FlashML-org/FreeVideo

이미 보유한 컴퓨터로 동영상을 만들어 보세요. FreeVideo는 VRAM 8GB와 RAM 16GB만으로도 MiniMax H3를 실행하며, 하드웨어에 맞춰 가속 경로를 조정합니다.

FlashML-org
⭐ 4,049 Python 👤 FlashML-org User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-13
47
PaddlePaddle/FastDeploy

PaddlePaddle 기반 LLM 및 VLM을 위한 고성능 추론 및 배포 툴킷

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 업데이트됨 2026-09-24 📅 생성됨 2022-06-27
48
superlinked/sie

에이전트가 필요로 하는 모든 모델을 위한 오픈소스 추론 서버 및 프로덕션 클러스터.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-11-07
49
huggingface/optimum

사용하기 쉬운 하드웨어 최적화 도구로 🤗 Transformers, Diffusers, TIMM 및 Sentence Transformers의 추론 및 학습을 가속화하세요

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2021-07-20
50
zjhellofss/KuiperInfer

채용, 가을 채용, 봄 채용, 인턴십 좋은 프로젝트! Llama2, Unet, YoloV5, Resnet 등 대형 모델의 추론을 지원하는 고성능 딥러닝 추론 라이브러리를 처음부터 단계별로 구현하도록 안내합니다. 고성능 딥러닝 추론 라이브러리를 단계별로 구현하세요.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 업데이트됨 2025-06-22 📅 생성됨 2022-11-21

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #inference 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #inference 프로젝트는 97,302개의 스타를 받은 vllm-project/vllm입니다. LLM을 위한 고성능, 메모리 효율적인 추론 및 서빙 엔진

2

#inference 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #inference 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, TypeScript, Jupyter Notebook입니다.

3

#inference 저장소 순위는 어떻게 계산되나요?

#inference 태그가 지정된 활성 오픈 소스 저장소(144개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 870,238개이며 저장소당 평균 6,043개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.