#llama-cpp Repositorios
69 repositorios en total
llama.cpp en una PS5 con jailbreak: ejecuta cualquier modelo GGUF de forma nativa en la consola, empezando por Qwen 3.8
Motor de inferencia ultrarrápido para Apple Silicon, optimizado para Qwen y Nemotron. Compatible con las API de OpenAI y Anthropic. Creado por el equipo de nace.ai
Orion-14B es una familia de modelos que incluye un LLM fundacional de 14B y una serie de modelos: un modelo de chat, un modelo de contexto largo, un modelo cuantizado, un modelo ajustado con RAG y un modelo ajustado con Agente. La familia de modelos Orion-14B incluye un LLM fundacional multilingüe de 14 mil millones de parámetros y una serie de modelos derivados relacionados, que incluyen un modelo de diálogo, un modelo de contexto largo, un modelo cuantizado, un modelo ajustado con RAG y un modelo ajustado con Agente, etc.
Ejecuta cualquier agente en cualquier modelo; los modelos se almacenan como imágenes OCI
Nodos de ComfyUI para modelos de visión-lenguaje: Qwen3-VL, Moondream 3, Florence-2, SmolVLM2, InternVL, Gemma 3, MiniCPM-V. Además de detección de vocabulario abierto, segmentación SAM2/SAM3, razonamiento temporal de video, GGUF a través de llama.cpp y APIs de LLM/VLM alojadas.
Un plugin de asistente de codificación inteligente para Visual Studio Code, desarrollado sobre la base de CodeShell
Cliente de chat de IA multimodelo de código abierto y con clave propia (BYOK) para iOS, Android y la web. Un único cliente LLM para OpenAI, Anthropic, Google Gemini, OpenRouter, DeepSeek y otros diez proveedores, además de cualquier endpoint compatible con OpenAI, Anthropic o Gemini: Ollama, LM Studio, llama.cpp y vLLM. Prioriza el uso local, puede alojarse por cuenta propia y no requiere una cuenta. AGPL-3.0.
sparkrun: inicia, gestiona y detén cargas de trabajo de inferencia de LLM en sistemas NVIDIA DGX Spark. Soporte en vivo: https://discord.com/invite/GH5kRgv6ZD
Una forma más sencilla de usar IA en tu propio ordenador. Una alternativa gratuita y de código abierto a Claude y ChatGPT que ejecuta localmente modelos de pesos abiertos como Gemma y gpt-oss en Mac, Windows y Linux. Privada y funciona sin conexión.
GraphRAG-rs es una implementación de alto rendimiento y última generación en Rust de GraphRAG (Generación Aumentada por Recuperación Basada en Grafos) que construye grafos de conocimiento a partir de documentos y permite consultas en lenguaje natural con extracción de entidades configurable e integración local de LLM
Estación de trabajo creativa de IA de pila completa y con prioridad local: cinco módulos —chat con IA, cómics con IA, creación de dramas en formato cómic, espacio de escritura y aprendizaje de conocimientos—; inferencia local con varios motores (vLLM / llama.cpp / Transformers), asignación inteligente de VRAM, aislamiento por compartimentos y autorrecuperación. Solo para fines educativos; se agradecen los comentarios y el intercambio de ideas. (Debido a restricciones del protocolo, por ahora no es posible enviar al repositorio los últimos avances, excepto el sistema de complementos.)
Un motor de inferencia puro en Rust para LLM, VLM, VLA, TTS y OCR, impulsado por Candle y Rust. Una alternativa a llama.cpp, mucho más sencilla y limpia.
Gomoon, una herramienta de productividad de escritorio basada en modelos grandes
Reconocimiento de voz generativo centrado en el árabe — Audar-ASR-V1 (Flash + Turbo). N.º 1 en la clasificación Open Universal Arabic ASR. Tarjetas de modelo, puntos de referencia e inferencia.