#local-llm 저장소
#local-llm 태그가 지정된 GitHub의 활성 오픈 소스 저장소 122개를 확인해 보세요. 총 383,928개의 스타를 획득했으며 프로젝트당 평균 3,146개입니다. 이 주제를 이끄는 저장소는 50,249개의 스타를 받은 HKUDS/nanobot입니다.
저장소 총 122개
Rust로 작성된 터미널용 오픈소스 코딩 에이전트입니다. 어떤 모델과도 함께 사용할 수 있고, 하나의 작업을 여러 에이전트에 나눠 맡길 수 있으며, 코드 한 줄 한 줄을 모두 확인할 수 있습니다.
SimpleQA에서 ~95% (예: Qwen3.6-27B를 3090에서). 모든 로컬 및 클라우드 LLM 지원 (llama.cpp, Ollama, Google 등). 10+ 검색 엔진 - arXiv, PubMed, 개인 문서. 모든 로컬 & 암호화.
FreeAskInternet는 GPU가 필요 없는 완전 무료, 개인 정보 보호 및 로컬 실행 검색 집계기 및 답변 생성기로, 여러 LLM을 사용합니다. 사용자는 질문을 할 수 있으며 시스템은 다중 엔진 검색을 수행하고 검색 결과를 LLM과 결합하여 검색 결과를 기반으로 답변을 생성합니다. 모두 무료로 사용할 수 있습니다.
영구적인 승인과 검증 가능한 실행 기록을 제공하는 셀프 호스팅 TypeScript 에이전트 런타임. 직접 소유하고, 승인하고, 감사하세요.
오픈 소스 음성 AI 플랫폼. Vapi 및 Retell의 셀프 호스팅 대안. 온프레미스, 음성 대 음성(Speech-to-Speech) 또는 LLM/STT/TTS 전반에 걸친 BYOK 지원, 시각적 워크플로우 빌더, MCP 네이티브 및 전화 통신 지원.
로컬 우선 의료 AI: 사용자가 직접 관리하는 하드웨어에서 임상 개체명 인식(NER)과 HIPAA 준수 개인 식별 정보(PII) 비식별화를 수행합니다. 2,200개 이상의 의료 모델, 35개 언어의 모델 기반 PII 처리, Python·MLX·Android·브라우저 런타임을 제공합니다. Apache-2.0 라이선스 SDK.
데스크톱용 올인원 로컬 AI 스튜디오: 채팅, 이미지 및 비디오 생성, 코딩 에이전트를 무료 오픈 소스 앱 하나로 제공합니다. Windows 및 Linux 지원. Docker도, 터미널도, 클라우드도 필요 없습니다.
Rapid-MLX는 Apple Silicon용 오픈 소스(Apache 2.0) LLM 추론 서버로, OpenAI 및 Anthropic과 호환되며 MLX를 기반으로 구축되었습니다. 코딩 에이전트를 위한 안정적인 도구 호출에 중점을 둡니다. 동일한 가중치를 사용할 때 Apple의 MLX(mlx-lm)보다 최대 4배 빠릅니다.
Atomic Agent는 로컬 우선 AI 에이전트입니다. llama.cpp를 통해 자신의 컴퓨터에서 오픈 웨이트 모델을 실행합니다.
Claude Code 사용 한도에 도달했나요? 로컬 모델로 무료 오프라인 사용을 계속하세요. Qwen 3.8, Gemma 4, 그리고 출시 당일부터 사용할 수 있는 Qwen 4를 지원합니다. Apple Silicon Mac(MLX), Linux, Windows(llama.cpp)에서 API 키 없이 실행됩니다. 코드는 내 기기에 안전하게 보관됩니다.
Linger는 PC에서 완전히 실행되는 오픈 소스 개인 에이전트입니다. 효율적인 모델·하네스 공동 설계를 통해 강력한 로컬 AI를 일상적인 컴퓨터에 제공함으로써 빅테크의 AI 지배력을 무너뜨리고, 누구나 자신만의 AI를 실행할 수 있도록 하는 것이 우리의 목표입니다.
GLM-5.3(744B), DeepSeek-V4.1-Flash(748B), MiniMax-M3.1-Flash(428B), GLM-5.3-Flash(321B), Hy4-Flash(220B)를 자체 GPU에서 실행하세요. 8GB VRAM부터 지원하며, NVIDIA와 AMD를 모두 사용할 수 있고, 하나의 대시보드와 OpenAI 및 Anthropic 호환 API를 제공합니다.
실제로 보유한 GPU에서 대형 Qwen 모델을 빠르게 서빙하세요. vLLM을 사용해 24GB 카드 한 장에서 Qwen3.8-27B 실행: 단일 사용자 기준 127 tok/s(응답이 프롬프트를 인용할 때는 381 tok/s), 동시 요청 64개에서 약 1,035 tok/s, 150k~262k 컨텍스트. vLLM 패치, 재양자화 파이프라인, 벤치마크.
Mac에서 Qwen 3.8 Flash Next, Qwen 3.8 27B 및 Ternary Bonsai 2 27B를 실행하는 가장 빠른 방법: M5 Max의 OpenCode에서 초당 125토큰, 16GB Mac에서 27B 모델 실행. Apple Silicon에서 네이티브 MTP 추측 디코딩을 지원하며, 어떤 온도에서도 정확합니다. OpenAI 및 Anthropic 호환 로컬 서버.
Zotero를 위한 전문 AI 연구 도구: PDF와 채팅하고, 전체 라이브러리를 검색하고, 문헌 레이더와 오토파일럿을 사용하세요. 30개 이상의 LLM 또는 로컬 모델 지원, MCP 서버 내장. iPhone에서 손안의 Zotero와 채팅 → https://www.docsagent.app
Apple Silicon용 네이티브 LLM 추론 서버입니다. OpenAI 및 Anthropic API와 호환됩니다. Python이 필요 없습니다. Zig 백엔드와 Swift 프런트엔드로 구성된 macOS 앱으로, 채팅, 음악, 음성, 동영상 생성을 지원합니다.
로컬 LLM을 사용한 GraphRAG - 인덱싱/프롬프트 튜닝/쿼리/채팅/시각화/등을 위한 강력한 API와 여러 앱을 제공합니다. 이것은 궁극의 GraphRAG/KG 로컬 LLM 앱이 될 것입니다.
에이전트를 위한 로컬 AI 앱 및 추론 엔진. 오픈 웨이트 LLM을 로컬에서 실행하세요 — 개인 정보 보호, 컴퓨터에서 100% 오프라인으로 작동합니다. Discord에 참여하세요: https://discord.com/invite/8wGSsvmg4V
Synthadoc: 원시 문서를 구조화된 로컬 우선 위키로 변환하는 오픈 소스 LLM 지식 컴파일 엔진입니다. 전통적인 RAG에 대한 투명하고 사람이 읽을 수 있는 대안으로, 도구를 사용하지 않고 자체 관리 및 자체 개선이 가능합니다.
궁극적인 제로 설치, 휴대용 로컬 AI 환경. 고품질, 무검열 LLM(Gemma, Qwen, NemoMix)을 어떤 USB 드라이브나 SSD에서 직접 실행. 완전 에어갭, 크로스플랫폼(Win/Mac/Linux), 프라이버시 우선이며 지속적인 채팅 기록 포함.
Capri — Windows용 무료 오픈소스 AI 데스크톱 펫, 게임 오버레이 및 음성 동반자입니다. Claude Code, Ollama, DeepSeek 및 MCP를 위한 시각적 GUI입니다. Discord 통화에 참여하고, Steam 게임을 실행하며, 게임 플레이에 반응하고, 오프라인으로 화면 작업을 자동화합니다.
Row-Bot: 실제 업무를 처리하는 로컬 우선 AI 어시스턴트입니다. 중요한 내용을 기억하고 파일, 코드, 디자인, 브라우저, 앱에서 작업하며 워크플로와 에이전트를 실행합니다. 사용자의 도움이 필요하면 알려 주고, 위험할 수 있는 작업은 먼저 허락을 구합니다. ChatGPT, Claude 또는 Grok 요금제, API 키, 로컬 모델을 사용할 수 있습니다. 데이터는 사용자의 기기에 그대로 보관됩니다.
Apple Silicon용 고성능 OpenAI 및 Anthropic 호환 LLM 추론 서버. 네이티브 MLX, 연속 배치, 멀티모달 모델, MCP 도구 호출 및 Claude Code 지원.
오픈소스 AI 컴퓨터 구성: GPU 2개 데스크톱부터 GPU 8개 서버까지 CAD, BOM, BIOS 및 조립 가이드를 제공합니다. PCIe 라이저가 포함된 케이스 키트를 구매하거나 무료 호환성 확인을 요청하세요.
오픈 소스 Grok 봇. Gawk 봇은 AI 모델을 통해 단순 반복 작업을 자동화하고 결과를 관리할 수 있는 마이크로앱을 만들어 주어, 통제하고 있다는 착각을 하게 합니다.
자주 묻는 질문
GitHub에서 가장 인기 있는 #local-llm 저장소는 무엇인가요?
GitHub에서 가장 높은 순위의 오픈 소스 #local-llm 프로젝트는 50,249개의 스타를 받은 HKUDS/nanobot입니다. 가볍고 오픈 소스인 개인 에이전트.
#local-llm 저장소에서 가장 많이 사용되는 프로그래밍 언어는 무엇인가요?
GitHub에서 순위가 가장 높은 #local-llm 프로젝트 중 가장 일반적으로 사용되는 프로그래밍 언어는 Python, TypeScript, Rust, C++입니다.
#local-llm 저장소 순위는 어떻게 계산되나요?
#local-llm 태그가 지정된 활성 오픈 소스 저장소(122개, 스타 500개 이상)를 추적하고 있습니다. 총 스타 수는 383,928개이며 저장소당 평균 3,146개입니다. 순위는 GitHub API를 통해 매일 업데이트됩니다.