#llm-inference Repositorios
202 repositorios en total
Motor de inferencia ultrarrápido para Apple Silicon, optimizado para Qwen y Nemotron. Compatible con las API de OpenAI y Anthropic. Creado por el equipo de nace.ai
Compare proyectos de LLM locales de código abierto compatibles según sus métricas para evaluar su popularidad y nivel de actividad.
Modelos abiertos de nivel frontera en una TPU v5e-8 gratuita de Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, con nuestro propio motor JAX) y Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k y caché de prefijos. Funciona con Claude Code, Codex, opencode y pi.
SDK de IA local de código abierto: ejecuta IA en el dispositivo sin nube ni claves de API. Compatible con GGUF, RAG, generación de imágenes, música y vídeo, conversión de voz a texto, inferencia P2P y mucho más. Multiplataforma: Linux, macOS, Windows, Android e iOS.
BitBLAS es una biblioteca para soportar multiplicaciones de matrices de precisión mixta, especialmente para el despliegue de LLM cuantizados.
Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2
Decodificación de LLM hasta 4× más rápida en Apple Silicon, sin pérdidas. Port nativo para MLX de la decodificación especulativa DSpark de DeepSeek y DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 y Bonsai-27B ternario.
LLM-PowerHouse: Desata el potencial de los LLM a través de tutoriales seleccionados, mejores prácticas y código listo para usar para entrenamiento e inferencia personalizados.
USP: Atención Secuencial Unificada (a.k.a. Híbrida, 2D) para el Entrenamiento e Inferencia de Modelos Transformer de Contexto Largo
Acelera tus Hugging Face Transformers 7.6-9x. Nativo para Hugging Face y PyTorch.
Modelo de lenguaje de acceso abierto de Google DeepMind, basado en Griffin.
Ejecuta un modelo de IA de 105 GB en un Mac que no puede almacenarlo. Qwen3.8-Flash-Next de 4 bits, transmitido desde un SSD en Macs con Apple Silicon y 16–64 GB de memoria. Totalmente nativo en Swift, MLX y Metal. Sin conexión y sin Python. CLI, biblioteca Swift y API de Ollama/OpenAI/Anthropic. Compatible con Claude Code y Codex.
Convierte tu teléfono Android en un servidor de inferencia de LLM compatible con OpenAI: completamente local, privado y de código abierto
Alternativa de Ollama para Rockchip NPU: Una solución eficiente para ejecutar modelos de IA y aprendizaje profundo en dispositivos Rockchip con soporte optimizado para NPU (rkllm)
Plataforma minimalista de búsqueda web con un asistente de IA que se ejecuta directamente desde tu navegador. Demo: https://felladrin-minisearch.hf.space
Sistema operativo de agentes de IA autohospedado. Tu memoria, chats, agentes y archivos permanecen en el hardware que posees, sin conexión por defecto, en la nube por elección. Incluye memoria de IA sin conexión (taOSmd), chat grupal autohospedado con múltiples marcos, un escritorio web completo + tienda de aplicaciones, y auto-clustering en el hardware de consumo que ya tienes (Orange/Raspberry Pi, Mac mini, PC gaming).
Otro modelo lingüístico: inferencia LLM en C++/CUDA, sin bibliotecas excepto E/S
Reclutamiento escolar, otoño, primavera, excelentes proyectos de prácticas, te guía para implementar desde cero un framework de inferencia de grandes modelos que soporta Llama2/3 y Qwen2.5.
Modelos MoE de vanguardia en RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash en 4 RTX PRO 6000, como híbrido GPU+CPU en 4 RTX 5090 y expertos de 2 bits en vLLM v0.24.0
Una biblioteca de búsqueda en árbol con API flexible para la escalabilidad en tiempo de inferencia de LLM
CLI para ejecutar una gran cantidad de agentes de codificación en paralelo con worktrees de git
Inferencia rápida y exacta para los modelos StartLux-Decision en GPU NVIDIA: los archivos GGUF publicados se ejecutan en núcleos tensoriales int8 y de 4 bits a través de la API /v1/systemone, con hasta 5,3 veces menos latencia que vLLM en FP8 y respuestas idénticas bit a bit.
Motor de inferencia mini CUDA-only qwen3-0.6B de lote único, estático y minimalista
Yi-1.5 es una versión mejorada de Yi, que ofrece un rendimiento más sólido en codificación, matemáticas, razonamiento y capacidad de seguimiento de instrucciones.
Xolotl: ejecuta DeepSeek-V4.1-Flash, con sus 552B parámetros completos, como agente de programación local en un solo PC gaming (RTX 4090 + 110 GB de RAM): ~33 tok/s como agente, ~41 en modo rápido y contexto de 512K. Además, Inkling-2-Mini (Thinking Machines, motor propio + generador de borradores MTP), GLM-5.3-Flash, Qwen3.8 y LFM3-Omni. Expertos MoE distribuidos por niveles entre la VRAM, la RAM y NVMe (Xolotl Direct). API de OpenAI + Anthropic.
[ICLR 2025] DuoAttention: Inferencia eficiente de LLM de contexto largo con cabezales de recuperación y transmisión
Una lista cuidadosamente seleccionada de herramientas creadas para Jev, el modelo System One de TypeSafe AI para decisiones tipadas.
Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos más grandes en hardware de consumo con VRAM limitada
Open Model Engine (OME): operador de Kubernetes para la prestación de servicios de LLM, la programación de GPU y la gestión del ciclo de vida de los modelos. Compatible con SGLang, vLLM, TensorRT-LLM y Triton
Aprende ingeniería de inferencia de LLM paso a paso: desde la caché KV, PagedAttention y el procesamiento por lotes continuo hasta vLLM, SGLang y las GPU.
KVarN es un backend nativo de vLLM para la cuantización de la caché KV de tus agentes: entre 3 y 5 veces más contexto, un rendimiento superior a FP16 y una precisión de nivel FP16. Sin calibración, un solo indicador.
Diseña, realiza y analiza los resultados de encuestas y experimentos impulsados por IA. Simula investigaciones de ciencias sociales y estudios de mercado con grandes cantidades de agentes de IA y modelos de lenguaje de gran escala.