#inference-engine Repositorios
Descubre 40 repositorios activos de código abierto de GitHub etiquetados con #inference-engine, que acumulan 102,063 estrellas en total (una media de 2,551 estrellas por proyecto). El líder de este tema es huggingface/candle, con 21,367 estrellas.
40 repositorios en total
✍🏻 Inmersiones profundas en código fuente, diseño de sistemas y blogs de ingeniería | Halfrost-Field: Notas de análisis de código fuente, diseño de sistemas y práctica de ingeniería
Un modelo Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.
FEDML: la biblioteca de ML unificada y escalable para entrenamiento distribuido a gran escala, servicio de modelos y aprendizaje federado. FEDML Launch, un planificador multicloud, permite además ejecutar cualquier trabajo de IA en cualquier nube de GPU o clúster local. Basado en esta biblioteca, TensorOpera AI (https://TensorOpera.ai) es su plataforma de IA generativa a escala.
¡Buen proyecto para el reclutamiento universitario, otoño, primavera y prácticas! Te guiaremos paso a paso para implementar una biblioteca de inferencia de aprendizaje profundo de alto rendimiento, que admita la inferencia de modelos grandes como llama2, Unet, YoloV5, Resnet, etc. Implemente una biblioteca de inferencia de aprendizaje profundo de alto rendimiento paso a paso.
xDiT: Un motor de inferencia escalable para Transformers de Difusión (DiTs) con Paralelismo Masivo
La forma más rápida de ejecutar Qwen 3.8 Flash Next, Qwen 3.8 27B y Ternary Bonsai 2 27B en un Mac: 125 tokens/s en OpenCode con un M5 Max, y un modelo 27B en Macs con 16 GB. Decodificación especulativa MTP nativa en Apple Silicon, exacta con cualquier temperatura. Servidor local compatible con OpenAI y Anthropic.
Curso oficial de SGLang x Datawhale sobre inferencia de LLM: comprende la inferencia, construye un mini-SGLang desde cero, luego lee el código fuente real de SGLang y consigue tu primer PR. Disponible en inglés y chino.
Caché KV elástico virtualizado para el uso compartido dinámico de GPU y más allá
OneDiff: una biblioteca de aceleración lista para usar para modelos de difusión.
NobodyWho es un motor de inferencia que te permite ejecutar LLMs de forma local y eficiente en cualquier dispositivo.
Un motor de inferencia de alto rendimiento para modelos LLM, VLM y DiT, optimizado para diversos aceleradores de IA. Está alojado en la Fundación OpenAtom.
Inferencia local con un comportamiento similar al de una API de vanguardia: Qwen3.8-Flash-Next en AMD Strix Halo, junto con pequeños modelos NPU, a través de las API de OpenAI y Anthropic en un mismo puerto.
Ejecuta grandes modelos de IA en tu propio PC: Qwen3.8-Flash-Next con el motor de Strata, y GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder y MiniCPM-V con un segundo motor creado para PolyStrata. Instalación con un clic para Windows y Linux, con una API de OpenAI/Anthropic en localhost.
Qualcomm® AI Hub Models es nuestra colección de modelos de aprendizaje automático de última generación, optimizados para el rendimiento (latencia, memoria, etc.) y listos para ser implementados en dispositivos Qualcomm®.
Implementación oficial de Gamer: un modelo fundacional generalista de visión, lenguaje y acción para agentes de videojuegos en tiempo real con horizontes prolongados
Paddle.js es un proyecto web para Baidu PaddlePaddle, un framework de aprendizaje profundo de código abierto que se ejecuta en el navegador. Paddle.js puede cargar un modelo preentrenado o transformar un modelo de paddle-hub con herramientas de transformación de modelos proporcionadas por Paddle.js. Puede ejecutarse en cualquier navegador compatible con WebGL/WebGPU/WebAssembly. También puede ejecutarse en Baidu Smartprogram y WX miniprogram.
Ejecute Kimi K3 localmente en la CPU con ~55 GB de RAM de tiempo de ejecución medida. Un servidor de inferencia de Linux de un solo archivo impulsado por cPilot Runtime.
MLX Studio: la forma más sencilla de ejecutar LLM en tu Mac. Un motor todo en uno.
Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.
Framework de Visión por Computadora y Análisis de Video de Python con Baterías Incluidas
[MLSys'25] QServe: Cuantificación W4A8KV4 y codesign de sistemas para un servicio de LLM eficiente; [MLSys'25] LServe: Servicio eficiente de LLM para secuencias largas con atención dispersa unificada
Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2
Decodificación de LLM hasta 4× más rápida en Apple Silicon, sin pérdidas. Port nativo para MLX de la decodificación especulativa DSpark de DeepSeek y DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 y Bonsai-27B ternario.
37 tok/s con Qwen3-Next-80B (48 GB) en un portátil de 32 GB; 24 sin borradores, frente a 2,8 con llama.cpp; lectura a 62 frente a 16 tok/s. Más rápido que llama.cpp en los 13 modelos comparados en Q4_K_M. LLM más grandes que tu RAM, en C puro, para CPU o GPU.
Un motor nativo de inferencia de modelos de lenguaje grande (LLM) y un entorno de ejecución de agentes .NET para modelos GGUF. TensorSharp ofrece una aplicación de consola, una interfaz de chatbot basada en la web, una aplicación para iPhone y API HTTP compatibles con Ollama/OpenAI para el acceso mediante programación. Es compatible con Windows, macOS, iOS y Linux, con capacidades completas de GPU.
Ejecuta un modelo de IA de 105 GB en un Mac que no puede almacenarlo. Qwen3.8-Flash-Next de 4 bits, transmitido desde un SSD en Macs con Apple Silicon y 16–64 GB de memoria. Totalmente nativo en Swift, MLX y Metal. Sin conexión y sin Python. CLI, biblioteca Swift y API de Ollama/OpenAI/Anthropic. Compatible con Claude Code y Codex.
Otro modelo lingüístico: inferencia LLM en C++/CUDA, sin bibliotecas excepto E/S
Una representación base común del código fuente de Python para pylint y otros proyectos
Reclutamiento escolar, otoño, primavera, excelentes proyectos de prácticas, te guía para implementar desde cero un framework de inferencia de grandes modelos que soporta Llama2/3 y Qwen2.5.
Inferencia rápida y exacta para los modelos StartLux-Decision en GPU NVIDIA: los archivos GGUF publicados se ejecutan en núcleos tensoriales int8 y de 4 bits a través de la API /v1/systemone, con hasta 5,3 veces menos latencia que vLLM en FP8 y respuestas idénticas bit a bit.
De maestro a mosaicos — un motor de destilación y servicio de LLM desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo con KV paginado, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.
Motor de inferencia para dispositivos Intel. Sirve modelos LLM, VLM, Whisper, Kokoro-TTS, Embedding y Rerank a través de endpoints de OpenAI.
Ejecuta varios agentes de IA a la vez en tu Mac, hasta 3 veces más rápido.
Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos más grandes en hardware de consumo con VRAM limitada
Preguntas frecuentes
¿Cuál es el repositorio de #inference-engine más popular en GitHub?
El proyecto de código abierto de #inference-engine mejor posicionado en GitHub es huggingface/candle, con 21,367 estrellas. Framework ML minimalista para Rust
¿Qué lenguajes de programación se utilizan más en los repositorios de #inference-engine?
Entre los proyectos de #inference-engine mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C++, Rust, Go.
¿Cómo se calcula la clasificación de los repositorios de #inference-engine?
Seguimos 40 repositorios activos de código abierto etiquetados con #inference-engine (500+ estrellas), que suman un total de 102,063 estrellas, con una media de 2,551 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.