Git Stars Git Stars

#llm-inference 저장소

202
총 리포지토리
1.0M
총 별점
5,180
리포지토리당 평균 스타 수

저장소 총 202개

51
turboderp-org/exllamav2

최신 소비자급 GPU에서 LLM을 로컬로 실행하기 위한 빠른 추론 라이브러리

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 업데이트됨 2026-03-04 📅 생성됨 2023-08-30
52
openai/harmony

gpt-oss와 함께 사용될 harmony 응답 형식용 렌더러

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 업데이트됨 2026-04-08 📅 생성됨 2025-07-31
53
CalvinXKY/InfraTech

AI 인프라 지식 및 코드 연습 공유: PyTorch, vLLM/SGLang, slime/vime 프레임워크 입문⚡️, 성능 가속🚀, 대규모 모델 기초🧠, AI 소프트웨어 및 하드웨어🔧 등

CalvinXKY
⭐ 4,411 Jupyter Notebook 👤 CalvinXKY User 🕐 업데이트됨 2026-09-20 📅 생성됨 2025-11-14
54
algorithmicsuperintelligence/optillm

LLM 추론 프록시 최적화

algorithmicsuperintelligence
⭐ 4,343 Python 👤 algorithmicsuperintelligence Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2024-08-22
55
NVIDIA/GenerativeAIExamples

가속화된 인프라 및 마이크로서비스 아키텍처에 최적화된 생성형 AI 참조 워크플로.

NVIDIA
⭐ 4,235 Jupyter Notebook 👤 NVIDIA Organization 🕐 업데이트됨 2026-11-06 📅 생성됨 2023-10-19
56
raullenchai/Rapid-MLX

Rapid-MLX는 Apple Silicon용 오픈 소스(Apache 2.0) LLM 추론 서버로, OpenAI 및 Anthropic과 호환되며 MLX를 기반으로 구축되었습니다. 코딩 에이전트를 위한 안정적인 도구 호출에 중점을 둡니다. 동일한 가중치를 사용할 때 Apple의 MLX(mlx-lm)보다 최대 4배 빠릅니다.

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-25
57
predibase/lorax

수천 개의 미세 조정된 LLM으로 확장되는 Multi-LoRA 추론 서버

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 업데이트됨 2026-05-28 📅 생성됨 2023-10-20
58
hemansnation/AI-Engineer-Headquarters

스토리 및 모델 구축을 위한 과학적 방법, 프로세스, 알고리즘 및 시스템 모음.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 업데이트됨 2026-10-28 📅 생성됨 2022-03-29
59
amitshekhariitbhu/ai-engineering-interview-questions

AI 엔지니어링 인터뷰 치트 시트 – 질문과 답변.

amitshekhariitbhu
⭐ 3,707 Markdown 👤 amitshekhariitbhu User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-03-21
60
xjdr-alt/entropix

엔트로피 기반 샘플링 및 병렬 CoT 디코딩

xjdr-alt
⭐ 3,434 Python 👤 xjdr-alt User 🕐 업데이트됨 2024-11-13 📅 생성됨 2024-10-03
61
ikawrakow/ik_llama.cpp

추가적인 SOTA 양화 및 성능 향상을 포함한 llama.cpp 포크

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-06-27
⭐ 3,377 Python 👤 danielgross User 🕐 업데이트됨 2024-02-25 📅 생성됨 2023-10-01
63
b4rtaz/distributed-llama

분산 LLM 추론. 홈 장치를 강력한 클러스터로 연결하여 LLM 추론을 가속화합니다. 장치가 많을수록 추론이 빨라집니다.

b4rtaz
⭐ 3,141 C++ 👤 b4rtaz User 🕐 업데이트됨 2026-11-17 📅 생성됨 2023-12-04
64
mw00/project-maya

GLM-5.3(744B), DeepSeek-V4.1-Flash(748B), MiniMax-M3.1-Flash(428B), GLM-5.3-Flash(321B), Hy4-Flash(220B)를 자체 GPU에서 실행하세요. 8GB VRAM부터 지원하며, NVIDIA와 AMD를 모두 사용할 수 있고, 하나의 대시보드와 OpenAI 및 Anthropic 호환 API를 제공합니다.

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-06
65
spiceai/spiceai

운영 데이터베이스에 실시간 분석 노드를 추가하세요. Spice는 데이터 기반 AI 앱 및 에이전트를 위해 Rust로 구축된 휴대용 고속 SQL 쿼리, 검색 및 LLM 추론 엔진입니다.

spiceai
⭐ 3,132 Rust 👤 spiceai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2021-08-08
66
qwopqwop200/GPTQ-for-LLaMa

GPTQ를 사용한 LLaMA의 4비트 양자화

qwopqwop200
⭐ 3,077 Python 👤 qwopqwop200 User 🕐 업데이트됨 2024-07-13 📅 생성됨 2023-03-06
67
luminal-ai/luminal

광속으로 추론.

luminal-ai
⭐ 3,064 Rust 👤 luminal-ai Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2023-07-18
69
syv-ai/HyperQwen

실제로 보유한 GPU에서 대형 Qwen 모델을 빠르게 서빙하세요. vLLM을 사용해 24GB 카드 한 장에서 Qwen3.8-27B 실행: 단일 사용자 기준 127 tok/s(응답이 프롬프트를 인용할 때는 381 tok/s), 동시 요청 64개에서 약 1,035 tok/s, 150k~262k 컨텍스트. vLLM 패치, 재양자화 파이프라인, 벤치마크.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 업데이트됨 2026-11-10 📅 생성됨 2026-08-15
70
youssofal/MTPLX

Mac에서 Qwen 3.8 Flash Next, Qwen 3.8 27B 및 Ternary Bonsai 2 27B를 실행하는 가장 빠른 방법: M5 Max의 OpenCode에서 초당 125토큰, 16GB Mac에서 27B 모델 실행. Apple Silicon에서 네이티브 MTP 추측 디코딩을 지원하며, 어떤 온도에서도 정확합니다. OpenAI 및 Anthropic 호환 로컬 서버.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-05-02
71
vllm-project/production-stack

커뮤니티 주도 성능 최적화를 통한 K8S 네이티브 클러스터 전체 배포를 위한 vLLM의 참조 시스템

vllm-project
⭐ 2,729 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-07 📅 생성됨 2025-01-21
72
FasterDecoding/Medusa

Medusa: 다중 디코딩 헤드를 사용한 LLM 생성 가속화를 위한 간단한 프레임워크

FasterDecoding
⭐ 2,684 Jupyter Notebook 👤 FasterDecoding Organization 🕐 업데이트됨 2024-06-25 📅 생성됨 2023-09-10
73
mirage-project/mirage

Mirage Persistent Kernel: LLM을 MegaKernel로 컴파일

mirage-project
⭐ 2,625 Cuda 👤 mirage-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-05-08
74
incoai/splash

모델을 중심으로 구축된 Apple 실리콘용 로컬 추론 엔진입니다.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-09-18
75
Nano-Collective/nanocoder

터미널을 위한 오픈 코딩 에이전트로, 기업이 아닌 커뮤니티 집단에 의해 구축되었습니다. 자신만의 모델을 가져와 코드를 로컬 머신에 보관하세요. 누구에게도 빚질 필요가 없습니다.

Nano-Collective
⭐ 2,582 TypeScript 👤 Nano-Collective Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-07-30
76
SafeAILab/EAGLE

EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24), 및 EAGLE-3 (NeurIPS'25)의 공식 구현.

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 업데이트됨 2026-02-20 📅 생성됨 2023-12-07
77
databricks/dbrx

Databricks에서 개발한 대규모 언어 모델인 DBRX의 코드 예제 및 리소스

databricks
⭐ 2,578 Python 👤 databricks Organization 🕐 업데이트됨 2024-05-01 📅 생성됨 2024-03-26
78
Jittor/JittorLLMs

Jito 대규모 모델 추론 라이브러리는 높은 성능, 낮은 구성 요구 사항, 우수한 중국어 지원, 이식성 등의 특징을 가지고 있습니다.

Jittor
⭐ 2,419 Python 👤 Jittor User 🕐 업데이트됨 2025-02-22 📅 생성됨 2023-04-02
79
ashhart/TensorFold

Metal, CUDA 및 Vulkan용 LLM 추론 엔진.

ashhart
⭐ 2,364 Zig 👤 ashhart User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-06-19
80
datawhalechina/zero-to-sglang

LLM 추론에 관한 SGLang x Datawhale 공식 강좌: 추론을 이해하고, 처음부터 미니 SGLang을 구축한 다음, 실제 SGLang 소스 코드를 읽고 첫 PR을 제출해 보세요. 영어와 중국어로 제공됩니다.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2026-08-27
82
cfregly/ai-performance-engineering

O'Reilly AI 시스템 성능 엔지니어링을 위한 코드, 실습 및 리소스: GPU 최적화, 분산 학습, 추론 확장 및 풀스택 튜닝.

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 업데이트됨 2026-11-19 📅 생성됨 2025-04-21
83
neuron-core/neuron-ai

PHP 생태계의 에이전트 프레임워크로, 프로덕션 수준의 AI 기반 애플리케이션을 구축할 수 있습니다. 구성 요소(LLM, 도구, 벡터 데이터베이스, 메모리)를 데이터 및 UI와 상호 작용하는 에이전트에 연결하세요.

neuron-core
⭐ 2,179 PHP 👤 neuron-core Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-03-02
84
pallavi-shekhar/ai-engineering-interview-questions-company-wise

최고의 AI 기업 AI 엔지니어링 면접을 위한 치트 시트 - 질문과 답변.

pallavi-shekhar
⭐ 2,098 Markdown 👤 pallavi-shekhar User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-09-19
85
microsoft/aici

AICI: (Wasm) 프로그램으로서의 프롬프트

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 업데이트됨 2025-01-22 📅 생성됨 2023-09-26
86
SemiAnalysisAI/InferenceX

오픈 소스 추론 연구 플랫폼

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-07-12
87
ovg-project/kvcached

동적 GPU 공유 및 그 이상을 위한 가상화된 탄력적 KV 캐시

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-05-27
88
AtomicBot-ai/Atomic-Chat

에이전트를 위한 로컬 AI 앱 및 추론 엔진. 오픈 웨이트 LLM을 로컬에서 실행하세요 — 개인 정보 보호, 컴퓨터에서 100% 오프라인으로 작동합니다. Discord에 참여하세요: https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-03-31
89
kimjammer/Neuro

7일 만에 처음 만들어진 Neuro-Sama의 리메이크 버전입니다.

kimjammer
⭐ 1,960 Python 👤 kimjammer User 🕐 업데이트됨 2025-01-17 📅 생성됨 2024-01-07
90
liltom-eth/llama2-webui

GPU 또는 CPU에서 어디서든(Linux/Windows/Mac) Gradio UI를 사용하여 Llama 2를 로컬에서 실행하세요. 생성 에이전트/앱의 로컬 llama2 백엔드로 `llama2-wrapper`를 사용하세요.

liltom-eth
⭐ 1,954 Jupyter Notebook 👤 liltom-eth User 🕐 업데이트됨 2024-03-22 📅 생성됨 2023-07-20
91
tile-ai/TileRT

초저지연 LLM 추론을 위한 타일 기반 런타임

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 업데이트됨 2026-09-24 📅 생성됨 2025-11-12
92
XiongjieDai/GPU-Benchmarks-on-LLM-Inference

대규모 언어 모델 추론을 위한 다중 NVIDIA GPU 또는 Apple Silicon?

XiongjieDai
⭐ 1,862 Jupyter Notebook 👤 XiongjieDai User 🕐 업데이트됨 2024-05-13 📅 생성됨 2023-07-19
93
beam-cloud/beta9

초고속 서버리스 GPU 추론, 샌드박스 및 백그라운드 작업

beam-cloud
⭐ 1,858 Go 👤 beam-cloud Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-11-15
94
turboderp-org/exllamav3

최신 소비자급 GPU에서 LLM을 로컬로 실행하기 위한 최적화된 양자화 및 추론 라이브러리

turboderp-org
⭐ 1,853 Python 👤 turboderp-org Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2025-04-06
95
vllm-project/guidellm

실제 추론 요구 사항에 맞게 LLM 배포를 평가 및 개선하세요

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-05-29
96
software-mansion/react-native-executorch

PyTorch의 ExecuTorch 런타임으로 구동되는, React Native를 위한 고성능 프라이버시 우선 온디바이스 AI 추론 라이브러리

software-mansion
⭐ 1,794 TypeScript 👤 software-mansion Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-10-16
97
janhq/awesome-local-ai

로컬 AI 도구의 훌륭한 저장소

janhq
⭐ 1,791 👤 janhq Organization 🕐 업데이트됨 2024-11-13 📅 생성됨 2023-09-06
99
LlamaEdge/LlamaEdge

로컬 또는 엣지에서 맞춤형 및 미세 조정된 LLM을 실행하는 가장 쉽고 빠른 방법

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 업데이트됨 2026-02-08 📅 생성됨 2023-10-09
100
Nutlope/turboseek

Perplexity에서 영감을 받은 AI 검색 엔진

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 업데이트됨 2026-10-23 📅 생성됨 2024-05-26