Git Stars Git Stars

#local-llm 저장소

122
총 리포지토리
383,928
총 별점
3,146
리포지토리당 평균 스타 수

저장소 총 122개

51
theroyallab/tabbyAPI

Exllama용 공식 API 서버. OAI 호환, 경량 및 고속.

theroyallab
⭐ 1,531 Python 👤 theroyallab Organization 🕐 업데이트됨 2026-11-14 📅 생성됨 2023-11-10
52
ARahim3/mlx-tune

Apple Silicon이 탑재된 Mac에서 LLM 미세 조정. SFT, DPO, GRPO, 비전, TTS, STT, 임베딩, OCR 미세 조정 — MLX에서 네이티브 지원. Unsloth 호환 API.

ARahim3
⭐ 1,475 Python 👤 ARahim3 User 🕐 업데이트됨 2026-06-23 📅 생성됨 2026-01-03
53
jofizcd/Soul-of-Waifu

🌌 좋아하는 캐릭터에게 영혼을 불어넣으세요. Soul of Waifu는 Live2D/VRM 아바타, 음성 채팅, 로컬 LLM을 지원하는 데스크톱 롤플레잉 및 AI 동반자 앱입니다. 몰입형 채팅과 RPG 모험을 통해 데스크톱에서 함께 성장해 보세요.

jofizcd
⭐ 1,474 Python 👤 jofizcd User 🕐 업데이트됨 2026-08-28 📅 생성됨 2023-09-02
54
obsei/obsei

오픈소스 기반의 개인정보 보호 우선 고객의 소리(VoC) 분석 도구입니다. Enterpret과 Unwrap을 대체하는 셀프 호스팅 솔루션으로, 어떤 LLM이든 피드백을 처리하기 전에 개인정보를 제거합니다.

obsei
⭐ 1,454 Python 👤 obsei Organization 🕐 업데이트됨 2026-11-15 📅 생성됨 2020-10-25
55
peonist-ai/halogen-flash-server

최첨단 API처럼 작동하는 로컬 추론: AMD Strix Halo의 Qwen3.8-Flash-Next와 소형 NPU 모델을 OpenAI 및 Anthropic API를 통해 단일 포트에서 제공합니다.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-08-26
56
synchopate/llama-modchip

30B~284B MoE 모델을 위한 제로 GPU CPU 추론(Qwen3.8 176.5B는 28.26/48.35 GiB Cgroup v2 콜드 캐시 환경에서 인증 완료, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.

synchopate
⭐ 1,398 Python 👤 synchopate User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-29
57
linyiLYi/voice-assistant

Whisper 및 대규모 언어 모델을 갖춘 로컬 음성 비서의 간단한 장난감 데모입니다.

linyiLYi
⭐ 1,329 Python 👤 linyiLYi User 🕐 업데이트됨 2024-04-30 📅 생성됨 2023-12-09
58
simplexai-labs/PolyStrata

대규모 AI 모델을 자신의 PC에서 실행하세요. Strata 엔진에서는 Qwen3.8-Flash-Next를, PolyStrata용으로 제작된 두 번째 엔진에서는 GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder, MiniCPM-V를 실행할 수 있습니다. Windows와 Linux에 원클릭으로 설치할 수 있으며, localhost에서 OpenAI/Anthropic API를 제공합니다.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 업데이트됨 2026-11-18 📅 생성됨 2026-10-06
59
ASCIT31/Dark-Moon

오픈 소스 자율형 AI 침투 테스트. 웹, API, 클라우드, Active Directory, Kubernetes, CI/CD 및 AI/LLM(OWASP LLM Top 10)을 아우르는 50개의 전문 에이전트와 증거 검증형 공격 경로 그래프를 제공합니다. Privacy Gateway 뒤의 로컬 LLM에서 실행됩니다. GitHub, GitLab, Jenkins, VS Code, JetBrains, n8n, Grafana 및 Splunk와 통합됩니다.

ASCIT31
⭐ 1,279 Python 👤 ASCIT31 Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2024-11-26
60
wici-ai/inferssd

SSD에서 MoE 전문가를 스트리밍하여 RAM 또는 VRAM 용량보다 큰 모델을 실행하세요. llama.cpp 기반으로 제작되었습니다.

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-10-22
61
HelgeSverre/ollama-gui

ollama API를 통해 로컬 LLM과 채팅하기 위한 웹 인터페이스

HelgeSverre
⭐ 1,272 TypeScript 👤 HelgeSverre User 🕐 업데이트됨 2026-11-16 📅 생성됨 2023-10-08
62
DasterProkio/awesome-ai-companion

오픈소스 AI 컴패니언, 데스크톱 펫, 장기 기억 및 선제적 대화. 인간-AI 로맨스 오픈소스 프로젝트 모음. 공식 플랫폼을 벗어나 독립적으로 존재하며 기억력과 자발성을 갖춘 로컬 AI를 구축하세요.

DasterProkio
⭐ 1,248 HTML 👤 DasterProkio User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-07-03
63
0xSojalSec/LLMs-local

LLM을 로컬에서 실행하는 멋진 플랫폼, 도구 및 리소스 목록

0xSojalSec
⭐ 1,206 👤 0xSojalSec User 🕐 업데이트됨 2026-06-10 📅 생성됨 2025-12-17
64
StayLameBro/backburner

iPhone이 Mac의 270억 개 파라미터 모델 실행을 지원합니다: USB-C 케이블을 통해 프롬프트를 더 빠르게 읽고 더 많은 컨텍스트를 처리

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 업데이트됨 2026-11-07 📅 생성됨 2026-10-01
65
mrphrazer/reverser_ai

소비자 하드웨어에서 로컬 대규모 언어 모델(LLM)을 사용하여 자동화된 리버스 엔지니어링 지원을 제공합니다.

mrphrazer
⭐ 1,176 Python 👤 mrphrazer User 🕐 업데이트됨 2026-05-20 📅 생성됨 2024-03-17
66
AllAboutAI-YT/easy-local-rag

Ollama + 이메일 RAG를 활용한 초간편 100% 로컬 RAG

AllAboutAI-YT
⭐ 1,175 Python 👤 AllAboutAI-YT User 🕐 업데이트됨 2024-06-04 📅 생성됨 2024-04-15
67
agents-io/PokeClaw

PokeClaw (PocketClaw) — 안드로이드 폰을 제어하는 최초의 온디바이스 AI. Gemma 4, 클라우드 없음, API 키 없음. Poke는 Pocket의 줄임말.

agents-io
⭐ 1,165 Kotlin 👤 agents-io Organization 🕐 업데이트됨 2026-06-02 📅 생성됨 2026-04-06
68
hyperionaidev/smolmaxxing

가능한 한 작은 기기에서 다양한 LLM을 실행할 수 있는 능력을 극대화하기

hyperionaidev
⭐ 1,079 C 👤 hyperionaidev Organization 🕐 업데이트됨 2026-11-19 📅 생성됨 2026-11-04
69
pguso/agents-from-scratch

프레임워크, 클라우드 API, 숨겨진 추론 없이 로컬 LLM으로 AI 에이전트를 처음부터 구축합니다.

pguso
⭐ 1,079 Python 👤 pguso User 🕐 업데이트됨 2026-07-25 📅 생성됨 2025-12-22
70
mrkrsl/web-search-mcp

로컬 LLM과 함께 사용하기 위한 간단한 로컬 호스팅 웹 검색 MCP 서버

mrkrsl
⭐ 1,072 TypeScript 👤 mrkrsl User 🕐 업데이트됨 2025-08-08 📅 생성됨 2025-06-27
71
pepperoni21/ollama-rs

Ollama API와 상호 작용하기 위한 간단하고 사용하기 쉬운 라이브러리입니다.

pepperoni21
⭐ 1,062 Rust 👤 pepperoni21 User 🕐 업데이트됨 2026-11-18 📅 생성됨 2023-11-02
72
metadist/synaplan

흐름을 주도하세요. 지식, 모델, 채널을 위한 하나의 오픈소스 AI 플랫폼—웹, WhatsApp, 이메일, Outlook, Nextcloud, ownCloud를 지원합니다. 로컬 모델과 클라우드 모델을 나란히 사용하고, 답변마다 비용을 확인하세요.

metadist
⭐ 1,045 PHP 👤 metadist Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-03-30
73
PotterRemember37/Capri-AI-Desktop

Capri — 《엣지러너》에서 영감을 받은 데스크톱용 AI 에이전트. Claude 3.7, Claude Code, OpenAI 및 로컬 Ollama/LLaMA를 지원합니다. 음성 채팅이 가능한 맞춤형 AI 와이푸 동반자입니다.

PotterRemember37
⭐ 1,040 Python 👤 PotterRemember37 User 🕐 업데이트됨 2026-11-11 📅 생성됨 2026-08-15
74
jegly/Box

오늘날 안드로이드에서 가장 진보된 완전 오프라인 클라이언트 사이드 AI 제품군입니다.

jegly
⭐ 1,035 Kotlin 👤 jegly User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-04-17
75
kennss/SiliconScope

sudo 없이 사용 가능한 Apple Silicon 시스템 모니터 (네이티브 SwiftUI GUI) - ANE / 미디어 엔진 / 메모리 대역폭 추적 지원

kennss
⭐ 1,026 Swift 👤 kennss User 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-06-08
76
wangeai/K3Flight

CPU에서 Kimi K3를 로컬로 실행하십시오(측정된 런타임 RAM 약 55GB). cPilot Runtime으로 구동되는 단일 파일 Linux 추론 서버입니다.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 업데이트됨 2026-07-31 📅 생성됨 2026-07-30
77
sgaofen/humanizer-local-model

AI 초안을 사람이 쓴 것처럼 자연스럽게 다시 작성합니다. 로컬에서 실행되며 사실은 그대로 유지합니다

sgaofen
⭐ 1,010 Python 👤 sgaofen User 🕐 업데이트됨 2026-10-19 📅 생성됨 2026-09-11
78
OleksandrChekhovskyi/hax

C로 작성된 미니멀한 터미널 네이티브 코딩 에이전트.

OleksandrChekhovskyi
⭐ 1,006 C 👤 OleksandrChekhovskyi User 🕐 업데이트됨 2026-11-13 📅 생성됨 2026-04-24
79
patruff/ollama-mcp-bridge

Ollama 및 MCP 서버 간의 브리지, 로컬 LLM이 모델 컨텍스트 프로토콜 도구를 사용할 수 있도록 지원

patruff
⭐ 973 TypeScript 👤 patruff User 🕐 업데이트됨 2025-04-20 📅 생성됨 2024-12-12
80
feder-cr/jev

jevos: Jev 및 Microsoft-Decision-1의 오픈 소스 대안입니다. 노트북 CPU에서 확률을 포함한 예/아니요 판정, 선택 및 점수 산정을 수행합니다.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 업데이트됨 2026-10-18 📅 생성됨 2024-08-15
81
kossakovsky/selfhost-ai

자체 서버에 셀프 호스팅 AI 스택을 한 번의 명령으로 설치하세요: n8n, Ollama, Open WebUI, OpenClaw, Dify, Flowise, Supabase, ComfyUI, Qdrant 및 30개 이상의 도구. Docker Compose, Caddy를 통한 자동 HTTPS, 내장 모니터링을 지원합니다. Zapier/Make를 대체할 수 있는 무료 솔루션입니다.

kossakovsky
⭐ 964 Shell 👤 kossakovsky User 🕐 업데이트됨 2026-10-27 📅 생성됨 2025-05-05
82
orneryd/NornicDB

Nornicdb는 분산형 저지연 Graph+Vector 및 Temporal MVCC 데이터베이스로, 모든 HNSW 검색, 그래프 탐색 및 쓰기 작업에서 서브밀리초(sub-ms) 성능을 제공합니다. Neo4j Bolt/Cypher 및 qdrant의 gRPC를 사용하므로 변경 없이 전환할 수 있으며, 스키마, 관리형 임베딩, 리랭킹+LLM, GPU 가속, Auto-TLP, 정책 기반 메모리 감쇠, MCP 서버와 같은 지능형 기능을 추가할 수 있습니다.

orneryd
⭐ 933 Go 👤 orneryd User 🕐 업데이트됨 2026-11-21 📅 생성됨 2025-12-06
83
mrdbourke/simple-local-rag

'Retrieval Augmented Generation' (RAG) 파이프라인을 처음부터 구축하고 모두 로컬에서 실행하도록 합니다.

mrdbourke
⭐ 923 Jupyter Notebook 👤 mrdbourke User 🕐 업데이트됨 2024-05-25 📅 생성됨 2024-03-13
84
hehehai/VoxtMini

로컬 모델을 사용하는 macOS 음성 입력: 모든 앱에서 받아쓰기, 번역, 문장 재작성을 할 수 있습니다. Voxt의 후속작입니다.

hehehai
⭐ 916 Go 👤 hehehai User 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-02-26
85
genex-games/genex-desktop

AI 네이티브 게임 개발을 위한 오픈소스 데스크톱 앱입니다. 로컬 모델을 포함한 모든 AI를 사용해 Unreal Engine, Unity, Godot, Roblox 또는 Three.js로 게임을 개발하세요.

genex-games
⭐ 901 TypeScript 👤 genex-games Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-02
86
bernardo-bruning/ollama-copilot

Github Copilot와 유사한 ollama를 사용할 수 있게 해주는 프록시

bernardo-bruning
⭐ 887 Go 👤 bernardo-bruning User 🕐 업데이트됨 2026-09-14 📅 생성됨 2024-04-25
87
Pangu-Immortal/MagicWX

Jetpack Compose와 ONNX Runtime을 사용한 Android 17 로컬 LLM 프로토타입으로, 오프라인 AI 추론 실험용입니다.

Pangu-Immortal
⭐ 864 Kotlin 👤 Pangu-Immortal User 🕐 업데이트됨 2026-11-09 📅 생성됨 2019-05-08
88
gavamedia/deltafin

단일 장치에서 전체 Kimi K3를 실행하세요. 또한 로컬 채팅 및 코딩 에이전트를 위한 OpenAI 호환 API 서버도 제공합니다.

gavamedia
⭐ 862 Rust 👤 gavamedia Organization 🕐 업데이트됨 2026-10-04 📅 생성됨 2026-07-28
89
kytmanov/obsidian-llm-wiki-local

Karpathy의 LLM Wiki, Ollama로 100% 로컬. Markdown 노트 드롭 → AI가 개념 추출 → Obsidian 위키 자동 링크 및 성장. 공유 제로. 당신의 노트는 당신의 것.

kytmanov
⭐ 855 Python 👤 kytmanov User 🕐 업데이트됨 2026-05-26 📅 생성됨 2026-04-07
90
nace-ai/kapitsa

Qwen 및 Nemotron에 최적화된 Apple Silicon용 초고속 추론 엔진입니다. OpenAI 및 Anthropic API와 호환됩니다. nace.ai 팀이 개발했습니다.

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-10-16
91
jonigl/mcp-client-for-ollama

Ollama용 TUI MCP 클라이언트로 로컬 LLM의 힘을 활용하세요. 모든 핵심 MCP 프리미티브(도구, 프롬프트, 리소스), 에이전트 모드, 멀티 서버, 모델 전환, 스트리밍 응답, 인간 개입, 사고 모드, 모델 매개변수 구성, 시스템 프롬프트 및 저장된 환경 설정을 갖추고 있습니다.

jonigl
⭐ 837 Python 👤 jonigl User 🕐 업데이트됨 2026-11-19 📅 생성됨 2025-04-23
92
nkasmanoff/pi-card

라즈베리 파이 음성 비서

nkasmanoff
⭐ 808 Python 👤 nkasmanoff User 🕐 업데이트됨 2024-12-22 📅 생성됨 2024-05-04
93
tetherto/qvac

오픈 소스 로컬 AI SDK - 클라우드나 API 키 없이 디바이스에서 AI를 실행하세요. GGUF, RAG, 이미지·음악·동영상 생성, 음성-텍스트 변환, P2P 추론 등을 지원합니다. 크로스 플랫폼: Linux, macOS, Windows, Android, iOS.

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 업데이트됨 2026-11-21 📅 생성됨 2026-01-03
94
karthik-codex/Autogen_GraphRAG_Ollama

Microsoft GraphRAG + AutoGen + Ollama + Chainlit = 완전 로컬 및 무료 멀티 에이전트 RAG 슈퍼봇

karthik-codex
⭐ 761 Python 👤 karthik-codex User 🕐 업데이트됨 2024-07-20 📅 생성됨 2024-07-07
95
ILikeAI/AlwaysReddy

AlwaysReddy는 항상 핫키로 이용 가능한 LLM 음성 비서입니다.

ILikeAI
⭐ 760 Python 👤 ILikeAI User 🕐 업데이트됨 2025-03-04 📅 생성됨 2024-01-24
96
jart/emacs-copilot

Emacs용 대규모 언어 모델 코드 완성

jart
⭐ 758 Emacs Lisp 👤 jart User 🕐 업데이트됨 2024-01-07 📅 생성됨 2023-12-31
97
ARahim3/mlx-dspark

Apple Silicon에서 LLM 디코딩을 최대 4배 더 빠르게, 무손실. DeepSeek의 DSpark 및 z-lab의 DFlash 추측 디코딩을 네이티브 MLX로 포팅 — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, 삼진 Bonsai-27B 지원.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 업데이트됨 2026-11-08 📅 생성됨 2026-06-29
98
notatestuser/ds4-control

100만 토큰 컨텍스트를 지원하는 빠른 로컬 DeepSeek V4.1용 macOS 메뉴 막대 앱.

notatestuser
⭐ 740 Swift 👤 notatestuser User 🕐 업데이트됨 2026-10-26 📅 생성됨 2026-05-29
99
prabanta-dev/janas

32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 업데이트됨 2026-11-20 📅 생성됨 2026-09-20
100
andersrex/notesollama

Apple 메모에서 로컬 LLM과 대화하려면 Ollama 사용

andersrex
⭐ 711 Swift 👤 andersrex User 🕐 업데이트됨 2025-08-04 📅 생성됨 2024-02-19