#local-llm 저장소
저장소 총 122개
Apple Silicon이 탑재된 Mac에서 LLM 미세 조정. SFT, DPO, GRPO, 비전, TTS, STT, 임베딩, OCR 미세 조정 — MLX에서 네이티브 지원. Unsloth 호환 API.
🌌 좋아하는 캐릭터에게 영혼을 불어넣으세요. Soul of Waifu는 Live2D/VRM 아바타, 음성 채팅, 로컬 LLM을 지원하는 데스크톱 롤플레잉 및 AI 동반자 앱입니다. 몰입형 채팅과 RPG 모험을 통해 데스크톱에서 함께 성장해 보세요.
오픈소스 기반의 개인정보 보호 우선 고객의 소리(VoC) 분석 도구입니다. Enterpret과 Unwrap을 대체하는 셀프 호스팅 솔루션으로, 어떤 LLM이든 피드백을 처리하기 전에 개인정보를 제거합니다.
최첨단 API처럼 작동하는 로컬 추론: AMD Strix Halo의 Qwen3.8-Flash-Next와 소형 NPU 모델을 OpenAI 및 Anthropic API를 통해 단일 포트에서 제공합니다.
30B~284B MoE 모델을 위한 제로 GPU CPU 추론(Qwen3.8 176.5B는 28.26/48.35 GiB Cgroup v2 콜드 캐시 환경에서 인증 완료, DeepSeek-V4 284B, Nemotron-30B) + RouteCrack 2.0.
대규모 AI 모델을 자신의 PC에서 실행하세요. Strata 엔진에서는 Qwen3.8-Flash-Next를, PolyStrata용으로 제작된 두 번째 엔진에서는 GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder, MiniCPM-V를 실행할 수 있습니다. Windows와 Linux에 원클릭으로 설치할 수 있으며, localhost에서 OpenAI/Anthropic API를 제공합니다.
오픈 소스 자율형 AI 침투 테스트. 웹, API, 클라우드, Active Directory, Kubernetes, CI/CD 및 AI/LLM(OWASP LLM Top 10)을 아우르는 50개의 전문 에이전트와 증거 검증형 공격 경로 그래프를 제공합니다. Privacy Gateway 뒤의 로컬 LLM에서 실행됩니다. GitHub, GitLab, Jenkins, VS Code, JetBrains, n8n, Grafana 및 Splunk와 통합됩니다.
오픈소스 AI 컴패니언, 데스크톱 펫, 장기 기억 및 선제적 대화. 인간-AI 로맨스 오픈소스 프로젝트 모음. 공식 플랫폼을 벗어나 독립적으로 존재하며 기억력과 자발성을 갖춘 로컬 AI를 구축하세요.
iPhone이 Mac의 270억 개 파라미터 모델 실행을 지원합니다: USB-C 케이블을 통해 프롬프트를 더 빠르게 읽고 더 많은 컨텍스트를 처리
PokeClaw (PocketClaw) — 안드로이드 폰을 제어하는 최초의 온디바이스 AI. Gemma 4, 클라우드 없음, API 키 없음. Poke는 Pocket의 줄임말.
흐름을 주도하세요. 지식, 모델, 채널을 위한 하나의 오픈소스 AI 플랫폼—웹, WhatsApp, 이메일, Outlook, Nextcloud, ownCloud를 지원합니다. 로컬 모델과 클라우드 모델을 나란히 사용하고, 답변마다 비용을 확인하세요.
Capri — 《엣지러너》에서 영감을 받은 데스크톱용 AI 에이전트. Claude 3.7, Claude Code, OpenAI 및 로컬 Ollama/LLaMA를 지원합니다. 음성 채팅이 가능한 맞춤형 AI 와이푸 동반자입니다.
sudo 없이 사용 가능한 Apple Silicon 시스템 모니터 (네이티브 SwiftUI GUI) - ANE / 미디어 엔진 / 메모리 대역폭 추적 지원
CPU에서 Kimi K3를 로컬로 실행하십시오(측정된 런타임 RAM 약 55GB). cPilot Runtime으로 구동되는 단일 파일 Linux 추론 서버입니다.
jevos: Jev 및 Microsoft-Decision-1의 오픈 소스 대안입니다. 노트북 CPU에서 확률을 포함한 예/아니요 판정, 선택 및 점수 산정을 수행합니다.
자체 서버에 셀프 호스팅 AI 스택을 한 번의 명령으로 설치하세요: n8n, Ollama, Open WebUI, OpenClaw, Dify, Flowise, Supabase, ComfyUI, Qdrant 및 30개 이상의 도구. Docker Compose, Caddy를 통한 자동 HTTPS, 내장 모니터링을 지원합니다. Zapier/Make를 대체할 수 있는 무료 솔루션입니다.
Nornicdb는 분산형 저지연 Graph+Vector 및 Temporal MVCC 데이터베이스로, 모든 HNSW 검색, 그래프 탐색 및 쓰기 작업에서 서브밀리초(sub-ms) 성능을 제공합니다. Neo4j Bolt/Cypher 및 qdrant의 gRPC를 사용하므로 변경 없이 전환할 수 있으며, 스키마, 관리형 임베딩, 리랭킹+LLM, GPU 가속, Auto-TLP, 정책 기반 메모리 감쇠, MCP 서버와 같은 지능형 기능을 추가할 수 있습니다.
'Retrieval Augmented Generation' (RAG) 파이프라인을 처음부터 구축하고 모두 로컬에서 실행하도록 합니다.
AI 네이티브 게임 개발을 위한 오픈소스 데스크톱 앱입니다. 로컬 모델을 포함한 모든 AI를 사용해 Unreal Engine, Unity, Godot, Roblox 또는 Three.js로 게임을 개발하세요.
Jetpack Compose와 ONNX Runtime을 사용한 Android 17 로컬 LLM 프로토타입으로, 오프라인 AI 추론 실험용입니다.
Karpathy의 LLM Wiki, Ollama로 100% 로컬. Markdown 노트 드롭 → AI가 개념 추출 → Obsidian 위키 자동 링크 및 성장. 공유 제로. 당신의 노트는 당신의 것.
Qwen 및 Nemotron에 최적화된 Apple Silicon용 초고속 추론 엔진입니다. OpenAI 및 Anthropic API와 호환됩니다. nace.ai 팀이 개발했습니다.
Ollama용 TUI MCP 클라이언트로 로컬 LLM의 힘을 활용하세요. 모든 핵심 MCP 프리미티브(도구, 프롬프트, 리소스), 에이전트 모드, 멀티 서버, 모델 전환, 스트리밍 응답, 인간 개입, 사고 모드, 모델 매개변수 구성, 시스템 프롬프트 및 저장된 환경 설정을 갖추고 있습니다.
오픈 소스 로컬 AI SDK - 클라우드나 API 키 없이 디바이스에서 AI를 실행하세요. GGUF, RAG, 이미지·음악·동영상 생성, 음성-텍스트 변환, P2P 추론 등을 지원합니다. 크로스 플랫폼: Linux, macOS, Windows, Android, iOS.
Microsoft GraphRAG + AutoGen + Ollama + Chainlit = 완전 로컬 및 무료 멀티 에이전트 RAG 슈퍼봇
Apple Silicon에서 LLM 디코딩을 최대 4배 더 빠르게, 무손실. DeepSeek의 DSpark 및 z-lab의 DFlash 추측 디코딩을 네이티브 MLX로 포팅 — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0, 삼진 Bonsai-27B 지원.
32GB 노트북에서 Qwen3-Next-80B(48GB)를 37 tok/s로 실행합니다. 드래프트 없이도 24 tok/s로, llama.cpp의 2.8 tok/s보다 빠릅니다. 읽기 속도는 62 tok/s 대 16 tok/s입니다. Q4_K_M으로 비교한 13개 모델 모두에서 llama.cpp보다 빠릅니다. RAM보다 큰 LLM도 순수 C로 CPU 또는 GPU에서 실행하세요.