Git Stars Git Stars

#inference-engine 저장소

#inference-engine 태그가 지정된 GitHub의 활성 오픈 소스 저장소 40개를 확인해 보세요. 총 102,063개의 스타를 획득했으며 프로젝트당 평균 2,551개입니다. 이 주제를 이끄는 저장소는 21,367개의 스타를 받은 huggingface/candle입니다.

40
총 리포지토리
102,063
총 별점
2,551
리포지토리당 평균 스타 수

저장소 총 40개

1
huggingface/candle

Rust를 위한 미니멀리스트 ML 프레임워크

huggingface
⭐ 21,367 Rust 👤 huggingface Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2023-06-19
2
halfrost/Halfrost-Field

✍🏻 소스 코드 심층 분석, 시스템 설계 및 엔지니어링 블로그 | Halfrost-Field 얼음 서리 땅: 소스 코드 분석, 시스템 설계 및 엔지니어링 실습 노트

halfrost
⭐ 13,259 Go 👤 halfrost User 🕐 업데이트됨 2026-11-10 📅 생성됨 2017-04-02
3
FareedKhan-dev/kimi-k3-in-c

2.78조 개의 파라미터를 가진 Kimi K3 모델이 8.24GB RAM의 단일 CPU에서 추론을 실행함. 포터블 C99: BLAS 없음, 프레임워크 없음, GPU 없음.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-08-01
4
bbycroft/llm-viz

GPT 스타일 LLM의 3D 시각화

bbycroft
⭐ 5,599 TypeScript 👤 bbycroft User 🕐 업데이트됨 2026-08-10 📅 생성됨 2023-03-01
5
FedML-AI/FedML

FEDML – 대규모 분산 학습, 모델 서빙 및 연합 학습을 위한 통합되고 확장 가능한 ML 라이브러리입니다. 크로스 클라우드 스케줄러인 FEDML Launch는 모든 GPU 클라우드 또는 온프레미스 클러스터에서 모든 AI 작업을 실행할 수 있도록 지원합니다. 이 라이브러리를 기반으로 구축된 TensorOpera AI(https://TensorOpera.ai)는 대규모 생성형 AI 플랫폼입니다.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 업데이트됨 2026-11-12 📅 생성됨 2020-07-21
6
zjhellofss/KuiperInfer

채용, 가을 채용, 봄 채용, 인턴십 좋은 프로젝트! Llama2, Unet, YoloV5, Resnet 등 대형 모델의 추론을 지원하는 고성능 딥러닝 추론 라이브러리를 처음부터 단계별로 구현하도록 안내합니다. 고성능 딥러닝 추론 라이브러리를 단계별로 구현하세요.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 업데이트됨 2025-06-22 📅 생성됨 2022-11-21
7
Luce-Org/lucebox

이기종 하드웨어 및 소비자용 GPU를 위한 Lucebox 추론 엔진

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-04-03
8
xdit-project/xDiT

xDiT: 대규모 병렬 처리를 갖춘 확산 트랜스포머(DiT)를 위한 확장 가능한 추론 엔진

xdit-project
⭐ 2,755 Python 👤 xdit-project Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-03-19
9
youssofal/MTPLX

Mac에서 Qwen 3.8 Flash Next, Qwen 3.8 27B 및 Ternary Bonsai 2 27B를 실행하는 가장 빠른 방법: M5 Max의 OpenCode에서 초당 125토큰, 16GB Mac에서 27B 모델 실행. Apple Silicon에서 네이티브 MTP 추측 디코딩을 지원하며, 어떤 온도에서도 정확합니다. OpenAI 및 Anthropic 호환 로컬 서버.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-05-02
10
hyperjumptech/grule-rule-engine

Golang에서의 규칙 엔진 구현

hyperjumptech
⭐ 2,539 Go 👤 hyperjumptech Organization 🕐 업데이트됨 2026-02-10 📅 생성됨 2019-12-13
11
datawhalechina/zero-to-sglang

LLM 추론에 관한 SGLang x Datawhale 공식 강좌: 추론을 이해하고, 처음부터 미니 SGLang을 구축한 다음, 실제 SGLang 소스 코드를 읽고 첫 PR을 제출해 보세요. 영어와 중국어로 제공됩니다.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-08-27
12
ovg-project/kvcached

동적 GPU 공유 및 그 이상을 위한 가상화된 탄력적 KV 캐시

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-05-27
13
siliconflow/onediff

OneDiff: 확산 모델을 위한 즉시 사용 가능한 가속화 라이브러리.

siliconflow
⭐ 1,961 Jupyter Notebook 👤 siliconflow Organization 🕐 업데이트됨 2025-12-04 📅 생성됨 2022-09-21
14
dphnAI/sonar

대규모 LLM 추론 엔진

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2023-06-23
15
nobodywho-ooo/nobodywho

NobodyWho는 모든 장치에서 LLM을 로컬로 효율적으로 실행할 수 있게 해주는 추론 엔진입니다.

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2024-09-03
16
xLLM-AI/xllm

다양한 AI 가속기에 최적화된 LLM, VLM 및 DiT 모델용 고성능 추론 엔진입니다. OpenAtom Foundation에서 호스팅합니다.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-08-12
17
peonist-ai/halogen-flash-server

최첨단 API처럼 작동하는 로컬 추론: AMD Strix Halo의 Qwen3.8-Flash-Next와 소형 NPU 모델을 OpenAI 및 Anthropic API를 통해 단일 포트에서 제공합니다.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-08-26
18
simplexai-labs/PolyStrata

대규모 AI 모델을 자신의 PC에서 실행하세요. Strata 엔진에서는 Qwen3.8-Flash-Next를, PolyStrata용으로 제작된 두 번째 엔진에서는 GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder, MiniCPM-V를 실행할 수 있습니다. Windows와 Linux에 원클릭으로 설치할 수 있으며, localhost에서 OpenAI/Anthropic API를 제공합니다.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-10-06
19
qualcomm/ai-hub-models

Qualcomm® AI Hub 모델은 성능(지연 시간, 메모리 등)에 최적화되고 Qualcomm® 장치에 배포할 준비가 된 당사의 최첨단 머신러닝 모델 컬렉션입니다.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-12-20
20
RainBowLuoCS/Gamer

Gamer 공식 구현: 장기 시간 범위의 실시간 게임 에이전트를 위한 범용 비전-언어-행동 파운데이션 모델

RainBowLuoCS
⭐ 1,179 👤 RainBowLuoCS User 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-10-30
21
PaddlePaddle/Paddle.js

Paddle.js는 브라우저에서 실행되는 오픈 소스 딥 러닝 프레임워크인 Baidu PaddlePaddle을 위한 웹 프로젝트입니다. Paddle.js는 사전 훈련된 모델을 로드하거나 Paddle.js에서 제공하는 모델 변환 도구를 사용하여 paddle-hub에서 모델을 변환할 수 있습니다. WebGL/WebGPU/WebAssembly를 지원하는 모든 브라우저에서 실행될 수 있습니다. Baidu Smartprogram 및 WX miniprogram에서도 실행될 수 있습니다.

PaddlePaddle
⭐ 1,071 JavaScript 👤 PaddlePaddle Organization 🕐 업데이트됨 2024-04-03 📅 생성됨 2020-03-26
22
wangeai/K3Flight

CPU에서 Kimi K3를 로컬로 실행하십시오(측정된 런타임 RAM 약 55GB). cPilot Runtime으로 구동되는 단일 파일 Linux 추론 서버입니다.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 업데이트됨 2026-07-31 📅 생성됨 2026-07-30
23
jjang-ai/mlxstudio

MLX Studio - Mac에서 LLM을 실행하는 가장 쉬운 방법. 올인원 엔진.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 업데이트됨 2026-11-07 📅 생성됨 2026-03-05
24
zhihu/ZhiLight

Llama 및 그 변형을 위한 고도로 최적화된 LLM 추론 가속 엔진.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 업데이트됨 2026-03-18 📅 생성됨 2024-12-06
25
insight-platform/Savant

배터리가 포함된 Python 컴퓨터 비전 및 비디오 분석 프레임워크

insight-platform
⭐ 868 Python 👤 insight-platform Organization 🕐 업데이트됨 2026-09-23 📅 생성됨 2022-05-07
26
mit-han-lab/omniserve

[MLSys'25] QServe: 효율적인 LLM 서빙을 위한 W4A8KV4 양자화 및 시스템 공동 설계; [MLSys'25] LServe: 통합 희소 주의를 사용한 긴 시퀀스 LLM의 효율적인 서빙

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 업데이트됨 2025-03-06 📅 생성됨 2024-05-06
27
pegainfer-project/pegainfer

순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-17
28
ARahim3/mlx-dspark

Apple Silicon에서 LLM 디코딩을 최대 4배 더 빠르게, 무손실. DeepSeek의 DSpark 및 z-lab의 DFlash 추측 디코딩을 네이티브 MLX로 포팅 — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, 삼진 Bonsai-27B 지원.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 업데이트됨 2026-11-08 📅 생성됨 2026-06-29
29
prabanta-dev/janas

32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-20
30
zhongkaifu/TensorSharp

GGUF 모델을 위한 네이티브 .NET LLM 추론 엔진이자 에이전트 런타임입니다. TensorSharp는 콘솔 애플리케이션, 웹 기반 챗봇 인터페이스, iPhone 앱, 그리고 프로그래밍 방식으로 사용할 수 있는 Ollama/OpenAI 호환 HTTP API를 제공합니다. Windows, macOS, iOS 및 Linux를 지원하며 GPU 기능을 완벽하게 활용할 수 있습니다.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-04-03
31
carloslfu/slotstream

105GB 모델을 저장할 수 없는 Mac에서도 AI 모델을 실행하세요. 4비트 Qwen3.8-Flash-Next를 SSD에서 스트리밍해 메모리 16~64GB의 Apple Silicon Mac에서 구동합니다. Swift, MLX, Metal 기반의 완전 네이티브 구현입니다. 오프라인으로 작동하며 Python이 필요 없습니다. CLI, Swift 라이브러리, Ollama/OpenAI/Anthropic API를 제공합니다. Claude Code 및 Codex와 호환됩니다.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-08-28
32
andrewkchan/yalm

또 다른 언어 모델: C++/CUDA에서의 LLM 추론, I/O 외에는 라이브러리 없음

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 업데이트됨 2025-09-13 📅 생성됨 2024-10-02
33
pylint-dev/astroid

pylint 및 다른 프로젝트를 위한 Python 소스 코드의 공통 기본 표현

pylint-dev
⭐ 589 Python 👤 pylint-dev Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2015-12-08
34
zjhellofss/KuiperLLama

학교 채용, 가을 채용, 봄 채용, 인턴십 좋은 프로젝트, 제로부터 Llama2/3와 Qwen2.5를 지원하는 대형 모델 추론 프레임워크를 직접 구현하도록 안내합니다.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 업데이트됨 2025-10-28 📅 생성됨 2024-04-25
35
StartLuxLabs/StartLux-Prism

NVIDIA GPU에서 StartLux-Decision 모델을 빠르고 정확하게 추론하세요. 공개된 GGUF 파일은 /v1/systemone API를 통해 int8 및 4비트 텐서 코어에서 실행되며, FP8에서 vLLM보다 최대 5.3배 낮은 지연 시간을 제공하고 답변은 비트 단위로 동일합니다.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 업데이트됨 2026-10-27 📅 생성됨 2026-10-13
36
zengxiao-he/tessera

교사에서 타일까지 — 처음부터 구축한 LLM 증류 및 서빙 엔진: 맞춤형 Triton/CUDA 커널, FSDP 증류, 페이징 KV 연속 배치, 추측 디코딩, Rust 게이트웨이, JAX 오라클, 해석 가능성 도구.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 업데이트됨 2026-10-09 📅 생성됨 2026-06-05
37
SearchSavior/OpenArc

Intel 장치를 위한 추론 엔진. OpenAI 엔드포인트를 통해 LLM, VLM, Whisper, Kokoro-TTS, Embedding 및 Rerank 모델을 서빙합니다.

SearchSavior
⭐ 551 Python 👤 SearchSavior User 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-02-11
38
OmniJev/Flide

🔥🔥 의사결정 모델을 위한 초고속 추론 엔진

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-24
39
Generated-Computers/Locals

Mac에서 여러 AI 에이전트를 동시에 실행하세요. 최대 3배 더 빠릅니다.

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-12
40
brontoguana/krasis

Krasis는 VRAM이 제한된 소비자용 하드웨어에서 대규모 모델을 효율적으로 실행하는 데 중점을 둔 하이브리드 LLM 런타임입니다

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 업데이트됨 2026-11-12 📅 생성됨 2026-02-09

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #inference-engine 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #inference-engine 프로젝트는 21,367개의 스타를 받은 huggingface/candle입니다. Rust를 위한 미니멀리스트 ML 프레임워크

2

#inference-engine 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #inference-engine 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, Rust, Go입니다.

3

#inference-engine 저장소 순위는 어떻게 계산되나요?

#inference-engine 태그가 지정된 활성 오픈 소스 저장소(40개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 102,063개이며 저장소당 평균 2,551개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.