#llm-inference Repositorios
202 repositorios en total
Una biblioteca de inferencia rápida para ejecutar LLM localmente en GPU modernas de clase de consumo
Compartir conocimientos de AI Infra y práctica de código: PyTorch, vLLM/SGLang, introducción al marco slime/vime ⚡️, aceleración de rendimiento 🚀, fundamentos de modelos grandes 🧠, software y hardware de IA 🔧, etc.
Flujos de trabajo de referencia de IA generativa optimizados para una arquitectura de microservicios e infraestructura acelerada.
Rapid-MLX es un servidor de inferencia de LLM de código abierto (Apache 2.0) para Apple Silicon, compatible con OpenAI y Anthropic, desarrollado sobre MLX y centrado en ofrecer llamadas a herramientas fiables para agentes de programación. Hasta 4 veces más rápido que MLX (mlx-lm) de Apple con los mismos pesos.
Una colección de métodos científicos, procesos, algoritmos y sistemas para construir historias y modelos.
Tu hoja de trucos para la entrevista de ingeniería de IA – Preguntas y respuestas.
Fork de llama.cpp con cuantificaciones SOTA adicionales y rendimiento mejorado
Inferencia de LLM distribuida. Conecte dispositivos domésticos en un clúster potente para acelerar la inferencia de LLM. Más dispositivos significan una inferencia más rápida.
Ejecuta GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) y Hy4-Flash (220B) en tus propias GPU: desde 8 GB de VRAM, compatibles con NVIDIA y AMD, un solo panel de control y una API compatible con OpenAI y Anthropic.
Añada un nodo de análisis en tiempo real a su base de datos operativa. Spice es un motor portátil y acelerado de consultas SQL, búsqueda e inferencia de LLM escrito en Rust para aplicaciones y agentes de IA basados en datos.
Ejecuta modelos Qwen grandes rápidamente en las GPU que realmente tienes. Qwen3.8-27B en una sola tarjeta de 24 GB con vLLM: 127 tok/s para un solo usuario (381 cuando la respuesta cita el prompt), aproximadamente 1.035 tok/s con 64 solicitudes concurrentes y un contexto de 150k–262k. Parches para vLLM, canalización de requantización y benchmarks.
La forma más rápida de ejecutar Qwen 3.8 Flash Next, Qwen 3.8 27B y Ternary Bonsai 2 27B en un Mac: 125 tokens/s en OpenCode con un M5 Max, y un modelo 27B en Macs con 16 GB. Decodificación especulativa MTP nativa en Apple Silicon, exacta con cualquier temperatura. Servidor local compatible con OpenAI y Anthropic.
El sistema de referencia de vLLM para el despliegue nativo de K8S en todo el clúster con optimización de rendimiento impulsada por la comunidad
Medusa: Un marco simple para acelerar la generación de LLM con múltiples cabezales de decodificación
Un agente de programación abierto para tu terminal, construido por un colectivo comunitario en lugar de una empresa. Trae tu propio modelo, mantén tu código en tu máquina y no le debas nada a nadie.
Implementación oficial de EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) y EAGLE-3 (NeurIPS'25).
Ejemplos de código y recursos para DBRX, un modelo de lenguaje grande desarrollado por Databricks
La biblioteca de inferencia de modelos grandes de Jito se caracteriza por su alto rendimiento, bajos requisitos de configuración, buen soporte para chino y portabilidad.
Curso oficial de SGLang x Datawhale sobre inferencia de LLM: comprende la inferencia, construye un mini-SGLang desde cero, luego lee el código fuente real de SGLang y consigue tu primer PR. Disponible en inglés y chino.
Código, laboratorios y recursos para O'Reilly AI Systems Performance Engineering: optimización de GPU, entrenamiento distribuido, escalado de inferencia y ajuste de pila completa.
El marco de trabajo de agentes del ecosistema PHP para construir aplicaciones impulsadas por IA listas para producción. Conecte componentes (LLMs, herramientas, bases de datos vectoriales, memoria) a agentes que interactúan con sus datos y su interfaz de usuario.
Tu guía rápida para entrevistas de ingeniería de IA en las principales empresas de IA: preguntas y respuestas.
Caché KV elástico virtualizado para el uso compartido dinámico de GPU y más allá
Aplicación de IA local y motor de inferencia para agentes. Ejecute LLM de pesos abiertos localmente: privado, 100% sin conexión en su computadora. Únase a nuestro Discord: https://discord.com/invite/8wGSsvmg4V
Ejecute cualquier Llama 2 localmente con la interfaz de usuario de Gradio en GPU o CPU desde cualquier lugar (Linux/Windows/Mac). Use `llama2-wrapper` como su backend local de llama2 para Agentes/Aplicaciones Generativas.
¿Múltiples GPU NVIDIA o Apple Silicon para la inferencia de modelos de lenguaje grandes?
Una biblioteca optimizada de cuantización e inferencia para ejecutar LLM localmente en GPU de consumo modernas
Evalúe y mejore sus implementaciones de LLM para necesidades de inferencia en el mundo real
Biblioteca de inferencia de IA en el dispositivo para React Native, de alto rendimiento y con la privacidad como prioridad, impulsada por el runtime ExecuTorch de PyTorch
La forma más fácil y rápida de ejecutar LLM personalizados y ajustados localmente o en el borde