Git Stars Git Stars

#llm-inference 저장소

#llm-inference 태그가 지정된 GitHub의 활성 오픈 소스 저장소 202개를 확인해 보세요. 총 1,046,424개의 스타를 획득했으며 프로젝트당 평균 5,180개입니다. 이 주제를 이끄는 저장소는 104,417개의 스타를 받은 deepseek-ai/DeepSeek-V3입니다.

202
총 리포지토리
1.0M
총 별점
5,180
리포지토리당 평균 스타 수

저장소 총 202개

⭐ 104,417 Python 👤 deepseek-ai Organization 🕐 업데이트됨 2025-08-28 📅 생성됨 2024-12-26
2
nomic-ai/gpt4all

GPT4All: 모든 기기에서 로컬 LLM 실행. 오픈 소스이며 상업적 용도로 사용 가능합니다.

nomic-ai
⭐ 77,352 C++ 👤 nomic-ai Organization 🕐 업데이트됨 2025-05-27 📅 생성됨 2023-03-27
3
oobabooga/textgen

로컬 LLM을 위한 오픈 소스 데스크톱 앱. 텍스트, 비전, 도구 호출, OpenAI/Anthropic 호환 API 지원. 100% 개인 정보 보호.

oobabooga
⭐ 47,736 Python 👤 oobabooga User 🕐 업데이트됨 2026-08-17 📅 생성됨 2022-12-21
4
ray-project/ray

Ray는 AI 컴퓨트 엔진입니다. Ray는 ML 워크로드를 가속화하기 위한 핵심 분산 런타임과 AI 라이브러리 세트로 구성됩니다.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2016-10-25
5
microsoft/BitNet

1비트 LLM용 공식 추론 프레임워크

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 업데이트됨 2026-07-27 📅 생성됨 2024-08-05
6
gitleaks/gitleaks

Gitleaks로 시크릿 찾기 🔑

gitleaks
⭐ 31,234 Go 👤 gitleaks Organization 🕐 업데이트됨 2026-10-28 📅 생성됨 2018-01-27
7
QwenLM/Qwen3

Qwen3는 Alibaba Cloud의 Qwen 팀에서 개발한 대규모 언어 모델 시리즈입니다.

QwenLM
⭐ 27,753 Python 👤 QwenLM Organization 🕐 업데이트됨 2026-01-09 📅 생성됨 2024-02-05
8
Hannibal046/Awesome-LLM

Awesome-LLM: 엄선된 대규모 언어 모델 목록

Hannibal046
⭐ 27,212 👤 Hannibal046 User 🕐 업데이트됨 2025-07-31 📅 생성됨 2023-02-17
9
google-ai-edge/gallery

온디바이스 ML/GenAI 사용 사례를 보여주고 사용자가 로컬에서 모델을 시도하고 사용할 수 있도록 하는 갤러리입니다.

google-ai-edge
⭐ 25,398 Kotlin 👤 google-ai-edge Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-03-31
10
liguodongiot/llm-action

본 프로젝트는 대형 모델 관련 기술 원리 및 실전 경험 (대형 모델 엔지니어링, 대형 모델 적용)을 공유하는 것을 목표로 합니다.

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 업데이트됨 2026-10-14 📅 생성됨 2023-05-23
11
deepseek-ai/DeepSeek-OCR

컨텍스트 광학 압축

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 업데이트됨 2026-01-27 📅 생성됨 2025-10-17
12
kvcache-ai/ktransformers

이종 LLM 추론/미세 조정 최적화를 경험하기 위한 유연한 프레임워크

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2024-07-26
13
karpathy/llama2.c

순수 C 파일 하나로 Llama 2 추론

karpathy
⭐ 19,062 C 👤 karpathy User 🕐 업데이트됨 2024-08-06 📅 생성됨 2023-07-23
14
Stability-AI/StableLM

StableLM: Stability AI 언어 모델

Stability-AI
⭐ 15,784 Jupyter Notebook 👤 Stability-AI Organization 🕐 업데이트됨 2024-04-08 📅 생성됨 2023-04-19
15
mindverse/Second-Me

AI 자아를 훈련하고, 당신을 증폭시키며, 세상을 연결하세요

mindverse
⭐ 15,688 Python 👤 mindverse Organization 🕐 업데이트됨 2025-09-30 📅 생성됨 2025-03-16
16
Lightning-AI/litgpt

대규모 사전 학습, 미세 조정 및 배포를 위한 레시피가 포함된 20개 이상의 고성능 LLM.

Lightning-AI
⭐ 13,757 Python 👤 Lightning-AI Organization 🕐 업데이트됨 2026-11-10 📅 생성됨 2023-05-04
17
deepseek-ai/FlashMLA

FlashMLA: 효율적인 멀티 헤드 잠재 어텐션 커널

deepseek-ai
⭐ 13,275 C++ 👤 deepseek-ai Organization 🕐 업데이트됨 2026-10-27 📅 생성됨 2025-02-21
18
bentoml/OpenLLM

DeepSeek 및 Llama와 같은 모든 오픈 소스 LLM을 클라우드에서 OpenAI 호환 API 엔드포인트로 실행하세요.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2023-04-19
19
FareedKhan-dev/kimi-k3-in-c

2.78조 개의 파라미터를 가진 Kimi K3 모델이 8.24GB RAM의 단일 CPU에서 추론을 실행함. 포터블 C99: BLAS 없음, 프레임워크 없음, GPU 없음.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 업데이트됨 2026-11-16 📅 생성됨 2026-08-01
20
openvinotoolkit/openvino

OpenVINO™는 AI 추론을 최적화하고 배포하기 위한 오픈 소스 툴킷입니다.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2018-10-15
21
mistralai/mistral-inference

Mistral 모델을 위한 공식 추론 라이브러리

mistralai
⭐ 10,809 Jupyter Notebook 👤 mistralai Organization 🕐 업데이트됨 2026-04-20 📅 생성됨 2023-09-27
22
abetlen/llama-cpp-python

llama.cpp용 Python 바인딩

abetlen
⭐ 10,691 Python 👤 abetlen User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-03-23
23
Tiiny-AI/PowerInfer

로컬 배포를 위한 고속 대형 언어 모델 서빙

Tiiny-AI
⭐ 9,893 C++ 👤 Tiiny-AI Organization 🕐 업데이트됨 2026-05-11 📅 생성됨 2023-12-15
24
bentoml/BentoML

AI 앱과 모델을 서빙하는 가장 쉬운 방법 - 모델 추론 API, 작업 큐, LLM 앱, 다중 모델 파이프라인 등을 구축하세요!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2019-04-02
25
ai-dynamo/dynamo

데이터센터 규모 분산 추론 서빙 프레임워크

ai-dynamo
⭐ 8,542 Rust 👤 ai-dynamo Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-03-03
26
bojieli/ai-infra-book

《AI 인프라 심층 이해: 정량 분석과 시스템 설계》(리보제 저), 오픈 소스 도서 원고: 하드웨어 제약과 모델 아키텍처를 바탕으로 LLM 추론 및 학습 시스템 설계를 정량적으로 도출합니다. 책 전체 본문, PDF, 관련 계산 도구와 실험을 포함합니다.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 업데이트됨 2026-10-01 📅 생성됨 2026-08-22
27
InternLM/lmdeploy

LMDeploy는 LLM을 압축, 배포 및 제공하기 위한 툴킷입니다.

InternLM
⭐ 8,153 Python 👤 InternLM Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2023-06-15
28
algorithmicsuperintelligence/openevolve

AlphaEvolve의 오픈 소스 구현

algorithmicsuperintelligence
⭐ 7,835 Python 👤 algorithmicsuperintelligence Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-05-15
29
drumih/turbo-fieldfare

모든 M 시리즈 MacBook에서 약 2GB RAM으로 Gemma 4 26B-A4B 추론 실행

drumih
⭐ 7,432 Swift 👤 drumih User 🕐 업데이트됨 2026-11-14 📅 생성됨 2026-07-17
30
mit-han-lab/streaming-llm

[ICLR 2024] Attention Sink를 활용한 효율적인 스트리밍 언어 모델

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 업데이트됨 2024-07-11 📅 생성됨 2023-09-29
31
katanemo/plano

Plano는 에이전트 앱을 위한 AI 네이티브 프록시 서버 및 데이터 플레인입니다. 스마트 LLM 라우팅, 관찰 가능성, 에이전트 오케스트레이션 및 가드레일을 제공하여 에이전트의 핵심 로직에 집중할 수 있도록 합니다.

katanemo
⭐ 7,118 Rust 👤 katanemo Organization 🕐 업데이트됨 2026-10-24 📅 생성됨 2024-07-09
32
google/gemma.cpp

Google의 Gemma 모델을 위한 경량 독립형 C++ 추론 엔진입니다.

google
⭐ 7,089 C++ 👤 google Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-02-13
33
deepseek-ai/DeepSeek-Coder-V2

DeepSeek-Coder-V2: 코드 인텔리전스에서 폐쇄형 소스 모델의 장벽을 허물다

deepseek-ai
⭐ 7,030 👤 deepseek-ai Organization 🕐 업데이트됨 2025-11-11 📅 생성됨 2024-06-14
34
karminski/one-small-step

이것은 흥미롭고 최첨단 기술 개념과 원리를 설명하는 데 초점을 맞춘 간단한 기술科普 튜토리얼 프로젝트입니다. 각 기사는 5분 안에 읽기를 완료하도록 노력합니다.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 업데이트됨 2026-03-08 📅 생성됨 2025-01-16
35
flashinfer-ai/flashinfer

FlashInfer: LLM 서빙을 위한 커널 라이브러리

flashinfer-ai
⭐ 6,982 Cuda 👤 flashinfer-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-07-22
36
simplescaling/s1

s1: 간단한 테스트 시간 스케일링

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 업데이트됨 2025-06-25 📅 생성됨 2025-02-01
37
lemonade-sdk/lemonade

Lemonade는 최적화된 LLM을 사용자 자신의 GPU 및 NPU에서 직접 제공하여 사용자가 로컬 AI 앱을 찾고 실행하도록 돕습니다. 저희 디스코드에 참여하세요: https://discord.gg/5xXzkMu8Zk

lemonade-sdk
⭐ 6,262 C++ 👤 lemonade-sdk Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-05-15
38
kserve/kserve

Kubernetes 상의 확장 가능하고 다중 프레임워크 배포를 위한 표준화된 분산 생성 및 예측 AI 추론 플랫폼

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2019-03-27
39
meta-pytorch/gpt-fast

1000줄 미만의 Python 코드로 구현된 간단하고 효율적인 PyTorch 네이티브 트랜스포머 텍스트 생성.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 업데이트됨 2025-08-22 📅 생성됨 2023-10-17
40
cactus-compute/engine

소비자용 기기를 위한 2비트 양자화, 커널 및 런타임.

cactus-compute
⭐ 6,200 C++ 👤 cactus-compute Organization 🕐 업데이트됨 2026-11-05 📅 생성됨 2025-04-23
41
gpustack/gpustack

고성능 AI 모델 서빙(vLLM, SGLang) 및 온디맨드 SSH 접속 가능 GPU 인스턴스를 위한 GPU 클러스터 관리자.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-05-11
42
Michael-A-Kuykendall/shimmy

⚡ 순수 Rust 기반 WebGPU 추론 엔진 — OpenAI API 호환, GGUF 네이티브 지원, 모든 GPU에서 실행 가능. Python 불필요. llama.cpp 불필요. 단일 바이너리.

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 업데이트됨 2026-11-12 📅 생성됨 2025-08-28
43
alexzhang13/rlm

다양한 샌드박스를 지원하는 재귀 언어 모델(RLM)용 범용 플러그 앤 플레이 추론 라이브러리.

alexzhang13
⭐ 5,776 Python 👤 alexzhang13 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-12-20
44
sgl-project/mini-sglang

현대 LLM 서빙 시스템의 복잡성을 이해하기 쉽게 설명하기 위해 설계된 SGLang의 컴팩트한 구현입니다.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 업데이트됨 2026-05-17 📅 생성됨 2025-09-01
45
xlite-dev/Awesome-LLM-Inference

📚Flash-Attention, Paged-Attention, WINT8/4, Parallelism 등 Awesome LLM/VLM 추론 논문 및 코드 모음집🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 업데이트됨 2026-10-20 📅 생성됨 2023-08-27
46
superduper-io/superduper

Superduper: 맞춤형 AI 애플리케이션 및 에이전트 구축을 위한 엔드투엔드 프레임워크.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 업데이트됨 2025-09-01 📅 생성됨 2022-08-30
47
ztxz16/fastllm

fastllm은 백엔드에 의존하지 않는 고성능 대규모 언어 모델 추론 라이브러리로, 대부분의 기기에서 대규모 언어 모델을 효율적으로 추론할 수 있도록 도와줍니다.

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 업데이트됨 2026-11-21 📅 생성됨 2023-05-13
48
deepseek-ai/DeepSeek-V2

DeepSeek-V2: 강력하고, 경제적이며, 효율적인 Mixture-of-Experts 언어 모델

deepseek-ai
⭐ 4,988 👤 deepseek-ai Organization 🕐 업데이트됨 2024-09-25 📅 생성됨 2024-04-22
49
FellouAI/eko

Eko (Eko는 계속 운영됩니다) - 자연어를 사용하여 프로덕션 준비가 된 에이전트 워크플로우 구축 - eko.fellou.ai

FellouAI
⭐ 4,963 TypeScript 👤 FellouAI Organization 🕐 업데이트됨 2026-03-03 📅 생성됨 2024-11-23
50
ruvnet/RuVector

RuVector는 고성능 실시간 의사 결정과 에이전트 메모리, 자기 학습형 AI, 그리고 Rust로 구축된 벡터 GNN 데이터베이스를 제공합니다.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-11-19

자주 묻는 질문

1

GitHub에서 가장 인기 있는 #llm-inference 저장소는 무엇인가요?

GitHub에서 가장 높은 순위의 오픈 소스 #llm-inference 프로젝트는 104,417개의 스타를 받은 deepseek-ai/DeepSeek-V3입니다.

2

#llm-inference 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?

GitHub에서 순위가 가장 높은 #llm-inference 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, C++, Rust, Go입니다.

3

#llm-inference 저장소 순위는 어떻게 계산되나요?

#llm-inference 태그가 지정된 활성 오픈 소스 저장소(202개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 1,046,424개이며 저장소당 평균 5,180개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.