#local-llm 저장소
저장소 총 122개
Chatterbox를 사용한 로컬 OpenAI 호환 텍스트-투-스피치(TTS) API로, 사용자가 OpenAI API가 사용되는 어디서든 음성 클로닝 음성을 생성할 수 있도록 합니다(예: Open WebUI, AnythingLLM 등).
Gensyn이 개발한, 완전히 비공개적이며 로컬로 작동하는 AI 코딩 어시스턴트입니다. 프로그래밍 문제 연습을 돕고 코딩을 지원하는 새로운 어시스턴트를 훈련시킬 수 있습니다.
105GB 모델을 저장할 수 없는 Mac에서도 AI 모델을 실행하세요. 4비트 Qwen3.8-Flash-Next를 SSD에서 스트리밍해 메모리 16~64GB의 Apple Silicon Mac에서 구동합니다. Swift, MLX, Metal 기반의 완전 네이티브 구현입니다. 오프라인으로 작동하며 Python이 필요 없습니다. CLI, Swift 라이브러리, Ollama/OpenAI/Anthropic API를 제공합니다. Claude Code 및 Codex와 호환됩니다.
Swiftlet은 Swift 및 Metal 런타임으로, 스토리지에서 전문가 가중치를 스트리밍하여 Apple 기기에서 대규모 Qwen Mixture-of-Experts 모델을 로컬로 실행합니다. 이를 통해 iPhone을 포함한 낮은 RAM 환경에서도 35B 및 80B 모델을 실행할 수 있습니다.
자체 호스팅 AI 에이전트 OS. 메모리, 채팅, 에이전트 및 파일은 사용자가 소유한 하드웨어에 저장되며, 기본적으로 오프라인 상태를 유지하고 필요 시 클라우드를 선택할 수 있습니다. 오프라인 AI 메모리(taOSmd), 자체 호스팅 멀티 프레임워크 그룹 채팅, 전체 웹 데스크톱 + 앱 스토어, 그리고 기존에 보유한 소비자용 하드웨어(Orange/Raspberry Pi, Mac mini, 게이밍 PC) 간의 자동 클러스터링 기능을 제공합니다.
회사의 AI 팀원을 위한 오픈 소스 셀프 호스팅 AI 에이전트 플랫폼입니다. 자체 서버와 모델에서 에이전트를 구축, 실행 및 거버넌스할 수 있습니다. 공유 채팅, RAG, 스킬, 실제 브라우저, 4,700개 이상의 MCP 서버, 예산, 승인 및 감사 추적 기능을 제공합니다. ChatGPT Enterprise와 Grok Bot의 대안입니다. Apache-2.0 라이선스를 따르며 Pydantic AI를 기반으로 구축되었습니다.
자기 진화하는 두 번째 뇌를 구축하기 위한 선별된 솔루션으로, AI 에이전트가 개인 및 팀 컨텍스트를 이해하도록 돕습니다.
iPhone, iPad 및 Mac용 로컬 AI 채팅. Ollama, LM Studio 또는 OpenAI 호환 서버에 연결하거나 기기에서 MLX 모델을 실행할 수 있습니다. 도구와 웹 검색 기능도 포함되어 있습니다.
내 컴퓨터에서 AI를 더 쉽게 사용하는 방법. Claude와 ChatGPT를 대체하는 무료 오픈 소스 프로그램으로, Mac, Windows, Linux에서 Gemma와 gpt-oss 같은 오픈 웨이트 모델을 로컬로 실행합니다. 개인정보를 보호하며 오프라인에서도 작동합니다.
Xolotl: DeepSeek-V4.1-Flash의 552B 파라미터 전체를 단 한 대의 게이밍 PC(RTX 4090 + RAM 110GB)에서 로컬 코딩 에이전트로 실행합니다. 에이전트 모드에서는 약 33 tok/s, 고속 모드에서는 약 41 tok/s이며, 512K 컨텍스트를 지원합니다. 또한 Inkling-2-Mini(Thinking Machines, 자체 엔진 + MTP 초안 작성기), GLM-5.3-Flash, Qwen3.8, LFM3-Omni도 지원합니다. MoE 전문가를 VRAM, RAM, NVMe에 계층적으로 배치합니다(Xolotl Direct). OpenAI + Anthropic API.
로컬 우선 풀스택 AI 창작 워크스테이션: AI 대화, AI 만화, 만화 드라마 제작, 글쓰기 공간, 지식 학습의 5개 모듈을 제공합니다. vLLM / llama.cpp / Transformers 멀티 엔진 로컬 추론, VRAM 지능형 스케줄링, 벌크헤드 격리 및 자동 복구를 지원합니다. 학습 목적으로만 사용해 주세요. 의견과 제안을 환영합니다. (플러그인 시스템을 제외한 최신 진행 사항은 프로토콜 제한으로 인해 현재 저장소에 커밋할 수 없습니다.)
LiteRT와 ONNX Runtime을 사용해 Android에서 Gemma, Qwen, LLaMA와 같은 로컬 LLM을 실행하고, 오프라인에서 개인정보를 보호하며 실시간 채팅과 질문 답변을 이용하세요.