Git Stars Git Stars

#llm-inference 저장소

202
총 리포지토리
1.0M
총 별점
5,180
리포지토리당 평균 스타 수

저장소 총 202개

151
nace-ai/kapitsa

Qwen 및 Nemotron에 최적화된 Apple Silicon용 초고속 추론 엔진입니다. OpenAI 및 Anthropic API와 호환됩니다. nace.ai 팀이 개발했습니다.

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-16
152
warpfront/hipfire

Rust로 작성된 RDNA 네이티브 LLM 추론 엔진.

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-03-21
153
mukel/llama3.java

순수 Java에서 Llama 3+ 추론

mukel
⭐ 818 Java 👤 mukel User 🕐 업데이트됨 2026-04-24 📅 생성됨 2024-04-25
154
vince-lam/awesome-local-llms

호환 가능한 오픈 소스 로컬 LLM 프로젝트를 지표별로 비교하여 인기와 활성도를 평가하세요.

vince-lam
⭐ 816 Python 👤 vince-lam User 🕐 업데이트됨 2026-11-16 📅 생성됨 2024-02-29
155
ARahim3/kaggle-tpu-lab

무료 Kaggle TPU v5e-8에서 실행되는 프런티어급 오픈 모델: GLM-5.3-Flash 320B MoE(약 165 tok/s, 자체 JAX 엔진 사용) 및 Qwen3.8-27B bf16(약 130 tok/s), 262k 컨텍스트와 프리픽스 캐싱 지원. Claude Code, Codex, opencode, pi와 함께 사용할 수 있습니다.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 업데이트됨 2026-10-06 📅 생성됨 2026-08-31
156
tetherto/qvac

오픈 소스 로컬 AI SDK - 클라우드나 API 키 없이 디바이스에서 AI를 실행하세요. GGUF, RAG, 이미지·음악·동영상 생성, 음성-텍스트 변환, P2P 추론 등을 지원합니다. 크로스 플랫폼: Linux, macOS, Windows, Android, iOS.

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-01-03
157
SimpleBerry/LLaMA-O1

대형 추론 모델

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 업데이트됨 2024-12-03 📅 생성됨 2024-10-10
158
D-Keqi/mtla

MTLA: Multi-head Temporal Latent Attention

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 업데이트됨 2025-10-06 📅 생성됨 2025-05-19
159
microsoft/BitBLAS

BitBLAS는 혼합 정밀도 행렬 곱셈을 지원하는 라이브러리로, 특히 양자화된 LLM 배포에 사용됩니다.

microsoft
⭐ 751 Python 👤 microsoft Organization 🕐 업데이트됨 2025-08-06 📅 생성됨 2024-02-23
160
pegainfer-project/pegainfer

순수 Rust + CUDA LLM 추론 엔진 — PyTorch 불필요, OpenAI 호환, Qwen3에서 Kimi-K2까지 지원

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-17
161
ARahim3/mlx-dspark

Apple Silicon에서 LLM 디코딩을 최대 4배 더 빠르게, 무손실. DeepSeek의 DSpark 및 z-lab의 DFlash 추측 디코딩을 네이티브 MLX로 포팅 — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, 삼진 Bonsai-27B 지원.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 업데이트됨 2026-11-08 📅 생성됨 2026-06-29
162
Avarok-Cybersecurity/atlas

순수 Rust 추론 엔진

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-05-05
163
ghimiresunil/LLM-PowerHouse-A-Curated-Guide-for-Large-Language-Models-with-Custom-Training-and-Inferencing

LLM-PowerHouse: 맞춤형 교육 및 추론을 위한 엄선된 튜토리얼, 모범 사례 및 바로 사용할 수 있는 코드를 통해 LLM의 잠재력을 발휘하십시오.

ghimiresunil
⭐ 734 Jupyter Notebook 👤 ghimiresunil User 🕐 업데이트됨 2026-03-13 📅 생성됨 2023-05-28
164
stoyan-stoyanov/llmflows

LLMFlows - 간단하고 명확하며 투명한 LLM 앱

stoyan-stoyanov
⭐ 706 Python 👤 stoyan-stoyanov User 🕐 업데이트됨 2025-02-20 📅 생성됨 2023-06-26
165
feifeibear/long-context-attention

USP: 긴 컨텍스트 트랜스포머 모델 훈련 및 추론을 위한 통합 (일명 하이브리드, 2D) 시퀀스 병렬 어텐션

feifeibear
⭐ 697 Python 👤 feifeibear User 🕐 업데이트됨 2026-09-16 📅 생성됨 2024-03-27
167
MDK8888/GPTFast

Hugging Face Transformers를 7.6-9배 가속하세요. Hugging Face 및 PyTorch 기반입니다.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 업데이트됨 2024-08-22 📅 생성됨 2024-02-18
168
google-deepmind/recurrentgemma

Google DeepMind의 Griffin 기반 오픈 가중치 언어 모델.

google-deepmind
⭐ 686 Python 👤 google-deepmind Organization 🕐 업데이트됨 2026-02-06 📅 생성됨 2024-03-25
169
carloslfu/slotstream

105GB 모델을 저장할 수 없는 Mac에서도 AI 모델을 실행하세요. 4비트 Qwen3.8-Flash-Next를 SSD에서 스트리밍해 메모리 16~64GB의 Apple Silicon Mac에서 구동합니다. Swift, MLX, Metal 기반의 완전 네이티브 구현입니다. 오프라인으로 작동하며 Python이 필요 없습니다. CLI, Swift 라이브러리, Ollama/OpenAI/Anthropic API를 제공합니다. Claude Code 및 Codex와 호환됩니다.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-08-28
170
run-ai/genv

LLM 지원 GPU 환경 및 클러스터 관리

run-ai
⭐ 657 Python 👤 run-ai Organization 🕐 업데이트됨 2024-05-16 📅 생성됨 2022-09-04
172
NightMean/OlliteRT

Android 휴대전화를 OpenAI 호환 LLM 추론 서버로 바꾸세요 - 완전한 로컬 환경, 비공개 및 오픈 소스

NightMean
⭐ 645 Kotlin 👤 NightMean User 🕐 업데이트됨 2026-11-07 📅 생성됨 2026-04-06
173
NotPunchnox/rkllama

Rockchip NPU용 Ollama 대안: Rockchip 기기에서 AI 및 딥러닝 모델을 실행하기 위한 효율적인 솔루션, 최적화된 NPU 지원 (rkllm)

NotPunchnox
⭐ 631 Python 👤 NotPunchnox User 🕐 업데이트됨 2026-10-28 📅 생성됨 2024-12-30
174
sixgpt/miner

SixGPT 공식 채굴기

sixgpt
⭐ 611 Shell 👤 sixgpt Organization 🕐 업데이트됨 2024-12-19 📅 생성됨 2024-10-06
175
felladrin/MiniSearch

브라우저에서 직접 실행되는 AI 어시스턴트가 있는 미니멀리스트 웹 검색 플랫폼입니다. 데모: https://felladrin-minisearch.hf.space

felladrin
⭐ 611 TypeScript 👤 felladrin User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-10-14
176
jaylfc/taOS

자체 호스팅 AI 에이전트 OS. 메모리, 채팅, 에이전트 및 파일은 사용자가 소유한 하드웨어에 저장되며, 기본적으로 오프라인 상태를 유지하고 필요 시 클라우드를 선택할 수 있습니다. 오프라인 AI 메모리(taOSmd), 자체 호스팅 멀티 프레임워크 그룹 채팅, 전체 웹 데스크톱 + 앱 스토어, 그리고 기존에 보유한 소비자용 하드웨어(Orange/Raspberry Pi, Mac mini, 게이밍 PC) 간의 자동 클러스터링 기능을 제공합니다.

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-04-05
177
andrewkchan/yalm

또 다른 언어 모델: C++/CUDA에서의 LLM 추론, I/O 외에는 라이브러리 없음

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 업데이트됨 2025-09-13 📅 생성됨 2024-10-02
178
huggingface/swift-chat

swift-transformers를 시연하는 Mac 앱

huggingface
⭐ 592 Swift 👤 huggingface Organization 🕐 업데이트됨 2024-07-29 📅 생성됨 2023-05-11
179
zjhellofss/KuiperLLama

학교 채용, 가을 채용, 봄 채용, 인턴십 좋은 프로젝트, 제로부터 Llama2/3와 Qwen2.5를 지원하는 대형 모델 추론 프레임워크를 직접 구현하도록 안내합니다.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 업데이트됨 2025-10-28 📅 생성됨 2024-04-25
180
kacper-daftcode/vLLM-Moet

RTX PRO 6000 / RTX 5090(sm_120)의 최첨단 MoE 모델: RTX PRO 6000 4개에서 실행하는 DeepSeek-V4.1-Flash, RTX 5090 4개에서의 GPU+CPU 하이브리드 구성, vLLM v0.24.0의 2비트 전문가 모델

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-06-15
181
SakanaAI/treequest

LLM 추론 시간 확장을 위한 유연한 API를 갖춘 트리 검색 라이브러리

SakanaAI
⭐ 580 Python 👤 SakanaAI Organization 🕐 업데이트됨 2026-11-08 📅 생성됨 2025-06-30
182
devflowinc/uzi

git worktree를 사용하여 대규모 코딩 에이전트를 병렬로 실행하기 위한 CLI

devflowinc
⭐ 579 Go 👤 devflowinc Organization 🕐 업데이트됨 2025-06-04 📅 생성됨 2025-05-27
183
rohan-paul/LLM-FineTuning-Large-Language-Models

LLM(대규모 언어 모델) 미세 조정

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 업데이트됨 2025-04-01 📅 생성됨 2023-10-22
184
StartLuxLabs/StartLux-Prism

NVIDIA GPU에서 StartLux-Decision 모델을 빠르고 정확하게 추론하세요. 공개된 GGUF 파일은 /v1/systemone API를 통해 int8 및 4비트 텐서 코어에서 실행되며, FP8에서 vLLM보다 최대 5.3배 낮은 지연 시간을 제공하고 답변은 비트 단위로 동일합니다.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 업데이트됨 2026-10-27 📅 생성됨 2026-10-13
185
yassa9/qwen600

정적 suckless 단일 배치 CUDA 전용 qwen3-0.6B 미니 추론 엔진

yassa9
⭐ 559 Cuda 👤 yassa9 User 🕐 업데이트됨 2025-09-08 📅 생성됨 2025-09-06
186
01-ai/Yi-1.5

Yi-1.5는 코딩, 수학, 추론 및 지시 사항 준수 능력에서 더 강력한 성능을 제공하는 Yi의 업그레이드 버전입니다.

01-ai
⭐ 557 👤 01-ai Organization 🕐 업데이트됨 2024-11-11 📅 생성됨 2024-05-10
189
Noeda/rllama

Rust+OpenCL+AVX2를 사용한 LLaMA 추론 코드 구현

Noeda
⭐ 551 Rust 👤 Noeda User 🕐 업데이트됨 2024-02-12 📅 생성됨 2023-03-11
190
OmniJev/Flide

🔥🔥 의사결정 모델을 위한 초고속 추론 엔진

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-24
191
Indras-Mirror/Xolotl

Xolotl: DeepSeek-V4.1-Flash의 552B 파라미터 전체를 단 한 대의 게이밍 PC(RTX 4090 + RAM 110GB)에서 로컬 코딩 에이전트로 실행합니다. 에이전트 모드에서는 약 33 tok/s, 고속 모드에서는 약 41 tok/s이며, 512K 컨텍스트를 지원합니다. 또한 Inkling-2-Mini(Thinking Machines, 자체 엔진 + MTP 초안 작성기), GLM-5.3-Flash, Qwen3.8, LFM3-Omni도 지원합니다. MoE 전문가를 VRAM, RAM, NVMe에 계층적으로 배치합니다(Xolotl Direct). OpenAI + Anthropic API.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-06
192
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: 검색 및 스트리밍 헤드를 이용한 효율적인 장문맥 LLM 추론

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 업데이트됨 2025-02-10 📅 생성됨 2024-10-15
193
microsoft/sarathi-serve

LLM을 위한 저지연 및 고처리량 서빙 엔진

microsoft
⭐ 539 Python 👤 microsoft Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2023-11-02
194
v-modal/awesome-jev-tools

타입이 지정된 의사결정을 위한 TypeSafe AI의 System One 모델인 Jev를 위해 엄선된 도구 목록입니다.

v-modal
⭐ 537 👤 v-modal Organization 🕐 업데이트됨 2026-11-15 📅 생성됨 2026-09-19
195
brontoguana/krasis

Krasis는 VRAM이 제한된 소비자용 하드웨어에서 대규모 모델을 효율적으로 실행하는 데 중점을 둔 하이브리드 LLM 런타임입니다

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 업데이트됨 2026-11-12 📅 생성됨 2026-02-09
196
ome-projects/ome

Open Model Engine(OME) — LLM 서빙, GPU 스케줄링 및 모델 수명 주기 관리를 위한 Kubernetes 오퍼레이터입니다. SGLang, vLLM, TensorRT-LLM 및 Triton을 지원합니다

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-05-19
197
amitshekhariitbhu/llm-inference-engineering

KV 캐시, PagedAttention, 연속 배칭부터 vLLM, SGLang, GPU까지 LLM 추론 엔지니어링을 단계별로 배워 보세요.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 업데이트됨 2026-11-09 📅 생성됨 2026-08-18
198
huawei-csl/KVarN

KVarN은 에이전트를 위한 네이티브 vLLM KV 캐시 양자화 백엔드입니다. 컨텍스트를 3~5배 더 확보하고, FP16을 뛰어넘는 처리량과 FP16 수준의 정확도를 제공합니다. 캘리브레이션 없이 플래그 하나로 사용할 수 있습니다.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 업데이트됨 2026-06-22 📅 생성됨 2026-05-29
199
expectedparrot/edsl

AI 기반 설문조사와 실험을 설계하고 수행하며 그 결과를 분석하세요. 다수의 AI 에이전트와 대규모 언어 모델을 활용해 사회과학 연구와 시장조사를 시뮬레이션하세요.

expectedparrot
⭐ 521 Python 👤 expectedparrot Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-01-02
200
turboderp-org/exui

ExLlamaV2용 웹 UI

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 업데이트됨 2025-02-05 📅 생성됨 2023-10-29