#llama-cpp 저장소
저장소 총 69개
Qwen 및 Nemotron에 최적화된 Apple Silicon용 초고속 추론 엔진입니다. OpenAI 및 Anthropic API와 호환됩니다. nace.ai 팀이 개발했습니다.
Orion-14B는 14B 기반 LLM과 다중 언어 기반 LLM, 그리고 챗봇 모델, 긴 컨텍스트 모델, 양자화된 모델, RAG 파인튜닝 모델, 에이전트 파인튜닝 모델을 포함하는 다양한 모델 시리즈로 구성됩니다. Orion-14B 모델 시리즈는 140억 개의 매개변수를 가진 다국어 기반 LLM과 대화 모델, 긴 텍스트 모델, 양자화 모델, RAG 파인튜닝 모델, 에이전트 파인튜닝 모델 등을 포함한 관련 파생 모델 시리즈를 포함합니다.
비전-언어 모델을 위한 ComfyUI 노드: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. 또한 오픈 어휘 탐지, SAM2/SAM3 세그멘테이션, 비디오 시간적 추론, llama.cpp를 통한 GGUF, 그리고 호스팅된 LLM/VLM API를 지원합니다.
iOS, Android 및 웹용 오픈소스 멀티모델 AI 채팅 클라이언트로, 자체 API 키(BYOK)를 사용할 수 있습니다. OpenAI, Anthropic, Google Gemini, OpenRouter, DeepSeek를 비롯한 10여 개 제공업체를 하나의 LLM 클라이언트로 이용할 수 있으며, OpenAI·Anthropic·Gemini 호환 엔드포인트(Ollama, LM Studio, llama.cpp, vLLM 등)도 지원합니다. 로컬 우선, 자체 호스팅 가능, 계정 불필요. AGPL-3.0.
sparkrun - NVIDIA DGX Spark 시스템에서 LLM 추론 워크로드를 시작, 관리 및 중지합니다. 실시간 지원: https://discord.com/invite/GH5kRgv6ZD
내 컴퓨터에서 AI를 더 쉽게 사용하는 방법. Claude와 ChatGPT를 대체하는 무료 오픈 소스 프로그램으로, Mac, Windows, Linux에서 Gemma와 gpt-oss 같은 오픈 웨이트 모델을 로컬로 실행합니다. 개인정보를 보호하며 오프라인에서도 작동합니다.
GraphRAG-rs는 GraphRAG(그래프 기반 검색 증강 생성)의 고성능 최첨단 Rust 구현으로, 문서에서 지식 그래프를 구축하고 구성 가능한 엔터티 추출 및 로컬 LLM 통합을 통해 자연어 쿼리를 가능하게 합니다
로컬 우선 풀스택 AI 창작 워크스테이션: AI 대화, AI 만화, 만화 드라마 제작, 글쓰기 공간, 지식 학습의 5개 모듈을 제공합니다. vLLM / llama.cpp / Transformers 멀티 엔진 로컬 추론, VRAM 지능형 스케줄링, 벌크헤드 격리 및 자동 복구를 지원합니다. 학습 목적으로만 사용해 주세요. 의견과 제안을 환영합니다. (플러그인 시스템을 제외한 최신 진행 사항은 프로토콜 제한으로 인해 현재 저장소에 커밋할 수 없습니다.)
Candle과 Rust를 기반으로 하는 순수 Rust 구현의 LLM, VLM, VLA, TTS 및 OCR 추론 엔진입니다. llama.cpp보다 훨씬 더 간단하고 깔끔한 대안입니다.
아랍어 우선 생성형 음성 인식 — Audar-ASR-V1 (Flash + Turbo)。Open Universal Arabic ASR 리더보드 1위. 모델 카드, 벤치마크 및 추론.