Git Stars Git Stars

#inference 저장소

144
총 리포지토리
870,238
총 별점
6,043
리포지토리당 평균 스타 수

저장소 총 144개

51
trymirai/uzu

AI 모델을 위한 고성능 추론 엔진

trymirai
⭐ 3,378 Rust 👤 trymirai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-06-23
52
openvinotoolkit/openvino_notebooks

📚 OpenVINO™용 Jupyter 노트북 튜토리얼

openvinotoolkit
⭐ 3,245 Jupyter Notebook 👤 openvinotoolkit Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2021-03-11
53
vllm-project/vllm-ascend

Huawei Ascend용 vLLM 커뮤니티 유지 관리 하드웨어 플러그인

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-01-29
54
pytorch/ao

학습 및 추론을 위한 PyTorch 네이티브 양자화

pytorch
⭐ 3,032 Python 👤 pytorch Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-11-03
55
pykeio/ort

Rust에서 ONNX 모델을 위한 빠른 ML 추론 및 학습

pykeio
⭐ 2,626 Rust 👤 pykeio Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2022-11-26
56
data-infra/cube-studio

CubeStudio는 오픈 소스 클라우드 네이티브 올인원 머신러닝/딥러닝/대규모 모델 AI 플랫폼/MaaS/MLOps/인공지능 플랫폼/훈련 및 추론 플랫폼으로, 알고리즘 전체 파이프라인, 멀티 테넌시, 컴퓨팅 파워 임대 플랫폼, 토큰 중계, 드래그 앤 드롭 작업 흐름 파이프라인 오케스트레이션, 다중 머신 다중 카드 분산 훈련, 하이퍼파라미터 검색, 추론 서비스, VGPU 가상화, 클라우드-엣지-디바이스 협업, 엣지 컴퓨팅, 자동 주석 플랫폼, DeepSeek 등 대규모 모델의 SFT 미세 조정/보상 모델/강화 학습 훈련, vLLM/Ollama/MindIE를 사용한 대규모 모델 다중 머신 추론, 개인 지식 베이스 LLMOps 에이전트, AI 모델 마켓, 국내 이기종 컴퓨팅 파워 스케줄링 지원(昇騰, 寒武紀, 海光, Moore Threads, 沐曦 등), IB/RoCE/RDMA 지원, 신창 지원을 포함합니다.

data-infra
⭐ 2,615 Python 👤 data-infra User 🕐 업데이트됨 2026-10-12 📅 생성됨 2024-07-02
57
huggingface/huggingface.js

JavaScript와 Hugging Face 사용

huggingface
⭐ 2,613 TypeScript 👤 huggingface Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-02-06
58
ddalcu/mlx-serve

Apple Silicon용 네이티브 LLM 추론 서버입니다. OpenAI 및 Anthropic API와 호환됩니다. Python이 필요 없습니다. Zig 백엔드와 Swift 프런트엔드로 구성된 macOS 앱으로, 채팅, 음악, 음성, 동영상 생성을 지원합니다.

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-17
59
google/XNNPACK

모바일, 서버 및 웹을 위한 고효율 부동 소수점 신경망 추론 연산자

google
⭐ 2,506 C 👤 google Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2019-09-13
60
roboflow/inference

모든 컴퓨터 또는 엣지 장치를 컴퓨터 비전 프로젝트를 위한 명령 센터로 전환하세요.

roboflow
⭐ 2,500 Python 👤 roboflow Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-07-31
61
theagentrouter/agent-router

Envoy Gateway 기반의 생성형 AI 서비스에 대한 통합 관리

theagentrouter
⭐ 2,428 Go 👤 theagentrouter Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2024-10-21
62
adithya-s-k/AI-Engineering.academy

응용 AI 마스터하기, 한 번에 하나의 개념씩

adithya-s-k
⭐ 2,388 Jupyter Notebook 👤 adithya-s-k User 🕐 업데이트됨 2026-02-27 📅 생성됨 2023-10-05
63
dstackai/dstack

이기종 AI 컴퓨팅을 위한 통합 오케스트레이션 계층입니다. GPU 클라우드, Kubernetes, VM 또는 베어메탈 클러스터에서 컴퓨팅 리소스를 관리하고 학습 및 추론을 실행하는 방식을 표준화합니다.

dstackai
⭐ 2,319 Python 👤 dstackai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2022-01-04
64
mozilla-ai/any-llm

단일 인터페이스를 사용하여 LLM 제공업체와 통신

mozilla-ai
⭐ 2,265 Python 👤 mozilla-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-07-14
65
RightNow-AI/picolm

256 MB RAM이 장착된 $10 보드에서 10억 파라미터의 LLM을 실행합니다.

RightNow-AI
⭐ 2,218 C 👤 RightNow-AI Organization 🕐 업데이트됨 2026-02-22 📅 생성됨 2026-02-19
66
magenta/magenta-js

Magenta.js: 브라우저에서의 머신러닝을 활용한 음악 및 예술 생성

magenta
⭐ 2,136 TypeScript 👤 magenta Organization 🕐 업데이트됨 2026-06-22 📅 생성됨 2018-03-26
67
tairov/llama2.mojo

순수 🔥 파일 하나로 Llama 2 추론

tairov
⭐ 2,126 Mojo 👤 tairov User 🕐 업데이트됨 2026-09-30 📅 생성됨 2023-09-10
68
deepspeedai/DeepSpeed-MII

MII는 DeepSpeed로 구동되어 낮은 지연 시간과 높은 처리량의 추론을 가능하게 합니다.

deepspeedai
⭐ 2,107 Python 👤 deepspeedai Organization 🕐 업데이트됨 2025-06-30 📅 생성됨 2022-03-23
69
microsoft/aici

AICI: (Wasm) 프로그램으로서의 프롬프트

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 업데이트됨 2025-01-22 📅 생성됨 2023-09-26
70
SemiAnalysisAI/InferenceX

오픈 소스 추론 연구 플랫폼

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-07-12
71
sgl-project/sglang-omni

대화형 초지능 시스템을 위한 고성능 서빙 런타임

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-01-07
72
AgibotTech/agibot_x1_infer

AgiBot X1의 추론 모듈입니다.

AgibotTech
⭐ 1,817 C++ 👤 AgibotTech Organization 🕐 업데이트됨 2025-04-03 📅 생성됨 2024-10-23
73
StartLuxLabs/StartLux-Decision

0.8B~27B 규모의 오픈 의사결정 모델: 한 번의 실행으로 각 선택지의 보정된 확률을 제공하고, 확신이 없을 때만 짧은 추론을 제시합니다. vLLM, llama.cpp, MLX용 엔진.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 업데이트됨 2026-10-23 📅 생성됨 2026-09-29
74
theopenco/llmgateway

단일 API 인터페이스를 통해 여러 제공업체에 걸쳐 LLM 요청을 라우팅, 관리 및 분석합니다.

theopenco
⭐ 1,755 TypeScript 👤 theopenco Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-04-12
75
Maratyszcza/NNPACK

멀티코어 CPU에서 신경망을 위한 가속 패키지

Maratyszcza
⭐ 1,702 C 👤 Maratyszcza User 🕐 업데이트됨 2024-06-11 📅 생성됨 2016-03-21
76
ELS-RD/transformer-deploy

🤗 Hugging Face 트랜스포머 모델을 위한 효율적이고 확장 가능하며 엔터프라이즈급 CPU/GPU 추론 서버 🚀

ELS-RD
⭐ 1,689 Python 👤 ELS-RD Organization 🕐 업데이트됨 2024-10-23 📅 생성됨 2021-10-31
77
RunanywhereAI/trnrt

AWS Trainium용 오픈 소스 LLM 추론 엔진: NKI 메가커널, 100만 토큰 컨텍스트, OpenAI 호환 API. RunAnywhere 제공.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-10-30
78
xLLM-AI/xllm

다양한 AI 가속기에 최적화된 LLM, VLM 및 DiT 모델용 고성능 추론 엔진입니다. OpenAtom Foundation에서 호스팅합니다.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-08-12
79
Delta-ML/delta

DELTA는 딥러닝 기반의 자연어 및 음성 처리 플랫폼입니다. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/

Delta-ML
⭐ 1,602 Python 👤 Delta-ML Organization 🕐 업데이트됨 2025-04-16 📅 생성됨 2019-05-29
80
utkuozdemir/nvidia_gpu_exporter

nvidia-smi 바이너리 또는 NVML을 사용하는 Prometheus용 NVIDIA GPU 익스포터

utkuozdemir
⭐ 1,599 Go 👤 utkuozdemir User 🕐 업데이트됨 2026-11-20 📅 생성됨 2021-06-08
81
Tencent/TurboTransformers

CPU 및 GPU에서 트랜스포머 추론(Bert, Albert, GPT2, Decoders 등)을 위한 빠르고 사용자 친화적인 런타임입니다.

Tencent
⭐ 1,546 C++ 👤 Tencent Organization 🕐 업데이트됨 2025-07-18 📅 생성됨 2020-04-20
⭐ 1,503 Python 👤 Stability-AI Organization 🕐 업데이트됨 2025-01-08 📅 생성됨 2024-10-09
83
sybil-solutions/inference-optimisation-skill

모든 하드웨어 및 양자화 설정에서 로컬 LLM 서빙 속도(디코딩, 추측 디코딩, 프리필, KV, 시작, TTFT)를 단계적으로 최적화하는 에이전트 스킬

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-11-16
84
alibaba/rtp-llm

RTP-LLM: 다양한 애플리케이션을 위한 Alibaba의 고성능 LLM 추론 엔진.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-12-27
85
ebhy/budgetml

10줄 미만의 코드로 예산에 맞춰 ML 추론 서비스를 배포하세요.

ebhy
⭐ 1,345 Python 👤 ebhy Organization 🕐 업데이트됨 2024-02-12 📅 생성됨 2020-12-27
86
StarlightSearch/EmbedAnything

Rust 🦀으로 구축된 고성능, 모듈식, 메모리 안전 및 프로덕션 준비 완료된 추론, 수집 및 인덱싱

StarlightSearch
⭐ 1,334 Rust 👤 StarlightSearch Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-03-31
87
qualcomm/ai-hub-models

Qualcomm® AI Hub 모델은 성능(지연 시간, 메모리 등)에 최적화되고 Qualcomm® 장치에 배포할 준비가 된 당사의 최첨단 머신러닝 모델 컬렉션입니다.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-12-20
88
NVIDIA/kvpress

LLM KV 캐시 압축을 쉽게

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2024-11-06
89
FenTechSolutions/CausalDiscoveryToolbox

그래프와 쌍대 설정에서 인과 추론을 위한 패키지. 그래프 구조 복구 및 종속성 도구가 포함되어 있습니다.

FenTechSolutions
⭐ 1,242 Python 👤 FenTechSolutions Organization 🕐 업데이트됨 2025-10-13 📅 생성됨 2017-05-31
90
run-house/kubetorch

ML 인프라를 위한 PyTorch처럼, Python에서 AI 워크로드를 Kubernetes에 마법처럼 분산하고 실행하세요.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 업데이트됨 2026-05-29 📅 생성됨 2022-05-10
91
google/agentmesh

에이전트 메시

google
⭐ 1,208 Go 👤 google Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-04-21
92
jmaczan/tiny-vllm

C++와 CUDA로 나만의 고성능 LLM 추론 엔진 구축하기 - vLLM의 소형 버전

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 업데이트됨 2026-11-15 📅 생성됨 2026-02-09
93
chrishayuk/larql

AI 모델을 실행하고, 제공하고, 질의하고, 편집하세요. VINDEX3를 기반으로 한 Rust 모델 런타임입니다. VINDEX3는 실행 및 검사 가능한 모델 형식입니다.

chrishayuk
⭐ 1,196 Rust 👤 chrishayuk User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-03-27
94
usamahz/cpu-performance-engineering

단일 명령어부터 프로덕션 추론까지 다루는 CPU 성능 엔지니어링 읽기 경로입니다. 1차 자료만 사용하며, 각 섹션마다 실행 가능한 벤치마크를 제공합니다.

usamahz
⭐ 1,160 Python 👤 usamahz User 🕐 업데이트됨 2026-10-08 📅 생성됨 2026-09-17
95
receptron/laya

ONNX Runtime을 통해 Node.js / TypeScript에서 오픈 소스 Jev 호환 System-1 의사결정 모델인 Laya를 실행하세요

receptron
⭐ 1,092 TypeScript 👤 receptron Organization 🕐 업데이트됨 2026-10-17 📅 생성됨 2026-09-19
96
Helldez/BigMoeOnEdge

RAM 용량보다 큰 MoE 모델을 실행하세요. 스마트폰, 노트북, 엣지 기기에서 최첨단 규모의 MoE를 만나보세요. 손실 없이, 기본 llama.cpp에서 실행됩니다. 적응형 스트리밍 최적화기. 모든 하드웨어, OS, 모델, 양자화를 지원하며 로컬 OpenAI 호환 서버를 통해 제공합니다.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-07-10
97
jjang-ai/mlxstudio

MLX Studio - Mac에서 LLM을 실행하는 가장 쉬운 방법. 올인원 엔진.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 업데이트됨 2026-11-07 📅 생성됨 2026-03-05
98
efeslab/Nanoflow

LLM을 위한 처리량 중심의 고성능 서비스 프레임워크

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 업데이트됨 2026-03-29 📅 생성됨 2024-08-19
99
openvinotoolkit/model_server

OpenVINO™로 최적화된 모델을 위한 확장 가능한 추론 서버

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-09-26
100
huawei-noah/bolt

Bolt는 고성능과 이종 유연성을 가진 딥러닝 라이브러리입니다.

huawei-noah
⭐ 958 C++ 👤 huawei-noah Organization 🕐 업데이트됨 2025-04-11 📅 생성됨 2019-12-02