Git Stars Git Stars

#llm-inference 저장소

202
총 리포지토리
1.0M
총 별점
5,180
리포지토리당 평균 스타 수

저장소 총 202개

101
AnswerDotAI/rerankers

모든 일반적인 재순위 지정 및 크로스 인코더 모델을 사용하기 위한 경량, 저종속성, 통합 API.

AnswerDotAI
⭐ 1,644 Python 👤 AnswerDotAI Organization 🕐 업데이트됨 2025-12-20 📅 생성됨 2024-03-06
102
xLLM-AI/xllm

다양한 AI 가속기에 최적화된 LLM, VLM 및 DiT 모델용 고성능 추론 엔진입니다. OpenAtom Foundation에서 호스팅합니다.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-08-12
103
autonomous-ai/Personal-AI-Computer

오픈소스 AI 컴퓨터 구성: GPU 2개 데스크톱부터 GPU 8개 서버까지 CAD, BOM, BIOS 및 조립 가이드를 제공합니다. PCIe 라이저가 포함된 케이스 키트를 구매하거나 무료 호환성 확인을 요청하세요.

autonomous-ai
⭐ 1,601 👤 autonomous-ai Organization 🕐 업데이트됨 2026-11-05 📅 생성됨 2025-08-22
104
mit-han-lab/smoothquant

[ICML 2023] SmoothQuant: 거대 언어 모델을 위한 정확하고 효율적인 학습 후 양자화

mit-han-lab
⭐ 1,576 Python 👤 mit-han-lab Organization 🕐 업데이트됨 2024-07-12 📅 생성됨 2022-11-17
105
jax-ml/scaling-book

TPU에서 LLM을 확장하는 방법에 대한 짧은 블로그 스타일 교과서 "How To Scale Your Model" 홈

jax-ml
⭐ 1,537 SCSS 👤 jax-ml Organization 🕐 업데이트됨 2026-10-19 📅 생성됨 2025-02-03
106
theroyallab/tabbyAPI

Exllama용 공식 API 서버. OAI 호환, 경량 및 고속.

theroyallab
⭐ 1,531 Python 👤 theroyallab Organization 🕐 업데이트됨 2026-11-14 📅 생성됨 2023-11-10
107
felladrin/awesome-ai-web-search

AI의 도움으로 웹을 검색할 수 있는 소프트웨어 목록: https://hf.co/spaces/felladrin/awesome-ai-web-search

felladrin
⭐ 1,521 HTML 👤 felladrin User 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-11-09
108
sauravpanda/BrowserAI

llama, deepseek-distill, kokoro 등과 같은 로컬 LLM을 브라우저에서 실행하세요

sauravpanda
⭐ 1,451 TypeScript 👤 sauravpanda User 🕐 업데이트됨 2026-07-21 📅 생성됨 2025-01-08
109
Nutlope/pdftochat

AI로 PDF와 채팅하세요

Nutlope
⭐ 1,444 TypeScript 👤 Nutlope User 🕐 업데이트됨 2026-10-23 📅 생성됨 2023-09-09
110
taielab/awesome-hacking-lists

다양한 도메인에 걸친 최고 수준의 침투 테스트 도구 및 생산성 유틸리티 모음입니다. 저희와 함께 해킹 도구를 탐색하고, 기여하고, 강화하세요!

taielab
⭐ 1,404 👤 taielab User 🕐 업데이트됨 2025-12-04 📅 생성됨 2020-06-12
112
lean-dojo/LeanCopilot

Lean에서의 정리 증명을 위한 조종석으로서의 LLM

lean-dojo
⭐ 1,347 C++ 👤 lean-dojo Organization 🕐 업데이트됨 2026-11-16 📅 생성됨 2023-09-09
113
hemingkx/SpeculativeDecodingPapers

📰 Speculative Decoding에 대한 필수 논문 및 블로그 ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 업데이트됨 2026-06-27 📅 생성됨 2023-09-20
114
aigrantsindia/aigrantsindia

AI 해커톤용 API 키 받기

aigrantsindia
⭐ 1,287 👤 aigrantsindia User 🕐 업데이트됨 2025-06-09 📅 생성됨 2025-02-22
115
wici-ai/inferssd

SSD에서 MoE 전문가를 스트리밍하여 RAM 또는 VRAM 용량보다 큰 모델을 실행하세요. llama.cpp 기반으로 제작되었습니다.

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-10-22
116
patchy631/time-to-first-token

LLM 추론 서빙 및 최적화를 위한 10주 로드맵(하루 30분). vLLM, SGLang, 양자화, 추측 디코딩, 벤치마킹.

patchy631
⭐ 1,245 HTML 👤 patchy631 User 🕐 업데이트됨 2026-08-14 📅 생성됨 2026-08-02
117
Azure/AzurePublicDataset

Microsoft Azure Traces

Azure
⭐ 1,231 Jupyter Notebook 👤 Azure Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2017-08-18
118
eagle-hq/EAGLE-4

EAGLE-4 공식 추론 코드

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 업데이트됨 2026-11-13 📅 생성됨 2026-10-20
119
jmaczan/tiny-vllm

C++와 CUDA로 나만의 고성능 LLM 추론 엔진 구축하기 - vLLM의 소형 버전

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 업데이트됨 2026-11-15 📅 생성됨 2026-02-09
120
StayLameBro/backburner

iPhone이 Mac의 270억 개 파라미터 모델 실행을 지원합니다: USB-C 케이블을 통해 프롬프트를 더 빠르게 읽고 더 많은 컨텍스트를 처리

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 업데이트됨 2026-11-07 📅 생성됨 2026-10-01
121
Tencent/hpc-ops

고성능 LLM 추론 연산자 라이브러리

Tencent
⭐ 1,193 C++ 👤 Tencent Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-01-20
122
character-ai/prompt-poet

로우 코드 방식을 사용하여 개발자와 비기술 사용자 모두를 위한 프롬프트 디자인을 간소화하고 단순화합니다.

character-ai
⭐ 1,160 Python 👤 character-ai Organization 🕐 업데이트됨 2026-02-12 📅 생성됨 2024-07-17
123
microsoft/onnxruntime-genai

ONNX Runtime을 활용한 생성형 AI

microsoft
⭐ 1,158 C++ 👤 microsoft Organization 🕐 업데이트됨 2026-11-17 📅 생성됨 2023-11-13
⭐ 1,090 Python 👤 thinking-machines-lab Organization 🕐 업데이트됨 2025-11-04 📅 생성됨 2025-09-10
125
zhuzilin/ring-flash-attention

플래시 어텐션을 사용한 링 어텐션 구현

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 업데이트됨 2025-09-10 📅 생성됨 2024-02-21
126
jondurbin/airoboros

Self-Instruct 논문의 맞춤형 구현.

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 업데이트됨 2024-03-07 📅 생성됨 2023-04-29
⭐ 1,041 Python 👤 huggingface Organization 🕐 업데이트됨 2026-09-24 📅 생성됨 2023-10-06
128
tspeterkim/flash-attention-minimal

CUDA 약 100줄의 Flash Attention (순방향 전달만)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 업데이트됨 2024-12-30 📅 생성됨 2024-03-07
⭐ 1,033 CSS 👤 susiai Organization 🕐 업데이트됨 2026-01-20 📅 생성됨 2017-11-25
⭐ 1,027 Python 👤 microsoft Organization 🕐 업데이트됨 2024-01-04 📅 생성됨 2023-07-17
132
MoonshotAI/checkpoint-engine

Checkpoint-engine는 LLM 추론 엔진에서 모델 가중치를 업데이트하는 간단한 미들웨어입니다.

MoonshotAI
⭐ 1,026 Python 👤 MoonshotAI Organization 🕐 업데이트됨 2026-10-22 📅 생성됨 2025-09-08
133
shyamsaktawat/OpenAlpha_Evolve

OpenAlpha_Evolve는 DeepMind의 AlphaEvolve와 같은 자율 코딩 에이전트에 대한 획기적인 연구에서 영감을 받은 오픈 소스 Python 프레임워크입니다.

shyamsaktawat
⭐ 1,021 Python 👤 shyamsaktawat User 🕐 업데이트됨 2025-05-31 📅 생성됨 2025-05-17
134
tingaicompass/AI-Compass

"AI-Compass"는 AI 기술의 바다를 항해하는 방향을 커뮤니티에 안내합니다. 초보자든 고급 개발자든 AI의 모든 주요 방향으로 가는 길을 이곳에서 찾을 수 있습니다. 이 서비스는 개발자들이 AI의 핵심 개념, 주류 기술, 최첨단 트렌드를 체계적으로 이해하고, 실천을 통해 이론부터 구현까지 전 과정을 숙달할 수 있도록 돕는 것을 목표로 합니다.

tingaicompass
⭐ 1,000 Python 👤 tingaicompass User 🕐 업데이트됨 2026-11-20 📅 생성됨 2025-05-27
135
likejazz/llama3.np

llama3.np는 Llama 3 모델을 위한 순수 NumPy 구현입니다.

likejazz
⭐ 991 Python 👤 likejazz User 🕐 업데이트됨 2025-04-27 📅 생성됨 2024-05-13
136
convergence-ai/proxy-lite

'Proxy' 어시스턴트의 미니, 오픈 웨이트 버전입니다.

convergence-ai
⭐ 989 Python 👤 convergence-ai Organization 🕐 업데이트됨 2025-02-26 📅 생성됨 2025-02-10
137
feder-cr/jev

jevos: Jev 및 Microsoft-Decision-1의 오픈 소스 대안입니다. 노트북 CPU에서 확률을 포함한 예/아니요 판정, 선택 및 점수 산정을 수행합니다.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 업데이트됨 2026-10-18 📅 생성됨 2024-08-15
138
dalisoft/awesome-hosting

최소 플랜 가격으로 정렬된 멋진 호스팅 목록

dalisoft
⭐ 970 👤 dalisoft User 🕐 업데이트됨 2026-11-21 📅 생성됨 2019-05-31
139
microsoft/T-MAC

룩업 테이블을 이용한 CPU/NPU에서의 저비트 LLM 추론

microsoft
⭐ 964 C++ 👤 microsoft Organization 🕐 업데이트됨 2025-06-05 📅 생성됨 2024-02-02
140
triton-inference-server/tensorrtllm_backend

Triton TensorRT-LLM 백엔드

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 업데이트됨 2026-11-02 📅 생성됨 2023-09-12
141
foldl/chatllm.cpp

컴퓨터(CPU 및 GPU)에서 실시간 채팅을 위한 여러 모델의 순수 C++ 구현

foldl
⭐ 942 C++ 👤 foldl User 🕐 업데이트됨 2026-11-15 📅 생성됨 2023-12-02
142
guidance-ai/llguidance

초고속 구조화된 출력

guidance-ai
⭐ 917 Rust 👤 guidance-ai Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2024-07-25
143
kubernetes-sigs/lws

LeaderWorkerSet 및 DisaggregatedSet: 분산 및 분리형 AI 서빙을 위한 Kubernetes API

kubernetes-sigs
⭐ 909 Go 👤 kubernetes-sigs Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2024-02-22
144
zhihu/ZhiLight

Llama 및 그 변형을 위한 고도로 최적화된 LLM 추론 가속 엔진.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 업데이트됨 2026-03-18 📅 생성됨 2024-12-06
145
harleyszhang/llm_note

모델 추론, 트랜스포머 모델 구조 및 LLM 프레임워크 코드 분석 노트를 포함한 LLM 노트.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 업데이트됨 2026-08-19 📅 생성됨 2024-09-18
148
YassKhazzan/openperplex_backend_os

openperplex는 오픈소스 AI 검색 엔진입니다

YassKhazzan
⭐ 889 Python 👤 YassKhazzan User 🕐 업데이트됨 2024-08-04 📅 생성됨 2024-08-03
149
HazyResearch/Megakernels

메가 크기의 커널 :)

HazyResearch
⭐ 885 Python 👤 HazyResearch Organization 🕐 업데이트됨 2026-05-26 📅 생성됨 2025-05-27
150
eastriverlee/LLM.swift

LLM.swift는 macOS, iOS, watchOS, tvOS 및 visionOS에서 대규모 언어 모델과 쉽게 상호 작용할 수 있게 해주는 간단하고 읽기 쉬운 라이브러리입니다.

eastriverlee
⭐ 883 Swift 👤 eastriverlee User 🕐 업데이트됨 2026-07-19 📅 생성됨 2023-12-02