#llama-cpp Repositórios
69 repositórios no total
llama.cpp em uma PS5 desbloqueada: execute qualquer modelo GGUF nativamente no console, começando pelo Qwen 3.8
Motor de inferência ultrarrápido para Apple Silicon, otimizado para Qwen e Nemotron. Compatível com as APIs da OpenAI e da Anthropic. Desenvolvido pela equipe da nace.ai
Orion-14B é uma família de modelos que inclui um LLM fundacional de 14B, e uma série de modelos: um modelo de chat, um modelo de contexto longo, um modelo quantizado, um modelo ajustado para RAG e um modelo ajustado para Agente. A família de modelos Orion-14B inclui um Large Language Model (LLM) fundacional multilíngue com 14 bilhões de parâmetros e uma série de modelos derivados relacionados, incluindo um modelo de conversação, um modelo de texto longo, um modelo quantizado, um modelo ajustado para RAG e um modelo ajustado para Agente.
Execute qualquer agente em qualquer modelo; os modelos são armazenados como imagens OCI
Nós do ComfyUI para modelos de visão-linguagem: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Além de detecção de vocabulário aberto, segmentação SAM2/SAM3, raciocínio temporal de vídeo, GGUF via llama.cpp e APIs de LLM/VLM hospedadas.
Um plugin de assistente de codificação inteligente para o Visual Studio Code, desenvolvido com base no CodeShell
Cliente de chat de IA multimodelo, de código aberto e com chave própria (BYOK), para iOS, Android e a Web. Um único cliente LLM para OpenAI, Anthropic, Google Gemini, OpenRouter, DeepSeek e mais dez provedores, além de qualquer endpoint compatível com OpenAI, Anthropic ou Gemini — Ollama, LM Studio, llama.cpp e vLLM. Prioriza o uso local, pode ser hospedado por conta própria e não exige conta. AGPL-3.0.
sparkrun — inicie, gerencie e interrompa cargas de trabalho de inferência de LLM em sistemas NVIDIA DGX Spark. Suporte ao vivo: https://discord.com/invite/GH5kRgv6ZD
Uma maneira mais fácil de usar IA no seu próprio computador. Uma alternativa gratuita e de código aberto ao Claude e ao ChatGPT, que executa localmente modelos de pesos abertos como Gemma e gpt-oss no Mac, Windows e Linux. Privada e funciona offline.
GraphRAG-rs é uma implementação Rust de alto desempenho e estado da arte do GraphRAG (Geração Aumentada por Recuperação Baseada em Grafos) que constrói grafos de conhecimento a partir de documentos e permite consultas em linguagem natural com extração configurável de entidades e integração local de LLM
Estação de trabalho criativa de IA full-stack com prioridade local: cinco módulos — chat com IA, quadrinhos com IA, criação de dramas em quadrinhos, espaço de escrita e aprendizagem de conhecimentos; inferência local com vários mecanismos (vLLM / llama.cpp / Transformers), gerenciamento inteligente da VRAM, isolamento por compartimentos e autorrecuperação. Apenas para fins de aprendizagem; comentários e sugestões são bem-vindos. (Devido a restrições do protocolo, os avanços mais recentes, com exceção do sistema de plugins, não podem ser enviados ao repositório por enquanto.)
Um mecanismo de inferência totalmente desenvolvido em Rust para LLMs, VLMs, VLAs, TTS e OCR, baseado no Candle e no Rust. Uma alternativa ao llama.cpp, muito mais simples e enxuta.
Reconhecimento de fala generativo focado em árabe — Audar-ASR-V1 (Flash + Turbo). Nº 1 no ranking Open Universal Arabic ASR. Cartões de modelo, benchmarks e inferência.