Git Stars Git Stars

#inference-engine Repositorios

Descubre 40 repositorios activos de código abierto de GitHub etiquetados con #inference-engine, que acumulan 102,063 estrellas en total (una media de 2,551 estrellas por proyecto). El líder de este tema es huggingface/candle, con 21,367 estrellas.

40
Total de Repositorios
102,063
Total de estrellas
2,551
Promedio de Estrellas/Repo

40 repositorios en total

1
huggingface/candle

Framework ML minimalista para Rust

huggingface
⭐ 21,367 Rust 👤 huggingface Organization 🕐 Actualizado 2026-11-19 📅 Creado 2023-06-19
2
halfrost/Halfrost-Field

✍🏻 Inmersiones profundas en código fuente, diseño de sistemas y blogs de ingeniería | Halfrost-Field: Notas de análisis de código fuente, diseño de sistemas y práctica de ingeniería

halfrost
⭐ 13,259 Go 👤 halfrost User 🕐 Actualizado 2026-11-10 📅 Creado 2017-04-02
3
FareedKhan-dev/kimi-k3-in-c

Un modelo Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Actualizado 2026-11-16 📅 Creado 2026-08-01
4
bbycroft/llm-viz

Visualización 3D de un LLM estilo GPT

bbycroft
⭐ 5,599 TypeScript 👤 bbycroft User 🕐 Actualizado 2026-08-10 📅 Creado 2023-03-01
5
FedML-AI/FedML

FEDML: la biblioteca de ML unificada y escalable para entrenamiento distribuido a gran escala, servicio de modelos y aprendizaje federado. FEDML Launch, un planificador multicloud, permite además ejecutar cualquier trabajo de IA en cualquier nube de GPU o clúster local. Basado en esta biblioteca, TensorOpera AI (https://TensorOpera.ai) es su plataforma de IA generativa a escala.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Actualizado 2026-11-12 📅 Creado 2020-07-21
6
zjhellofss/KuiperInfer

¡Buen proyecto para el reclutamiento universitario, otoño, primavera y prácticas! Te guiaremos paso a paso para implementar una biblioteca de inferencia de aprendizaje profundo de alto rendimiento, que admita la inferencia de modelos grandes como llama2, Unet, YoloV5, Resnet, etc. Implemente una biblioteca de inferencia de aprendizaje profundo de alto rendimiento paso a paso.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Actualizado 2025-06-22 📅 Creado 2022-11-21
7
Luce-Org/lucebox

Motor de inferencia Lucebox para hardware heterogéneo y GPU de consumo

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-04-03
8
xdit-project/xDiT

xDiT: Un motor de inferencia escalable para Transformers de Difusión (DiTs) con Paralelismo Masivo

xdit-project
⭐ 2,755 Python 👤 xdit-project Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-03-19
9
youssofal/MTPLX

La forma más rápida de ejecutar Qwen 3.8 Flash Next, Qwen 3.8 27B y Ternary Bonsai 2 27B en un Mac: 125 tokens/s en OpenCode con un M5 Max, y un modelo 27B en Macs con 16 GB. Decodificación especulativa MTP nativa en Apple Silicon, exacta con cualquier temperatura. Servidor local compatible con OpenAI y Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Actualizado 2026-11-21 📅 Creado 2026-05-02
10
hyperjumptech/grule-rule-engine

Implementación de un motor de reglas en Golang

hyperjumptech
⭐ 2,539 Go 👤 hyperjumptech Organization 🕐 Actualizado 2026-02-10 📅 Creado 2019-12-13
11
datawhalechina/zero-to-sglang

Curso oficial de SGLang x Datawhale sobre inferencia de LLM: comprende la inferencia, construye un mini-SGLang desde cero, luego lee el código fuente real de SGLang y consigue tu primer PR. Disponible en inglés y chino.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Actualizado 2026-11-17 📅 Creado 2026-08-27
12
ovg-project/kvcached

Caché KV elástico virtualizado para el uso compartido dinámico de GPU y más allá

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Actualizado 2026-11-20 📅 Creado 2025-05-27
13
siliconflow/onediff

OneDiff: una biblioteca de aceleración lista para usar para modelos de difusión.

siliconflow
⭐ 1,961 Jupyter Notebook 👤 siliconflow Organization 🕐 Actualizado 2025-12-04 📅 Creado 2022-09-21
14
dphnAI/sonar

Motor de inferencia LLM a gran escala

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Actualizado 2026-11-17 📅 Creado 2023-06-23
15
nobodywho-ooo/nobodywho

NobodyWho es un motor de inferencia que te permite ejecutar LLMs de forma local y eficiente en cualquier dispositivo.

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 Actualizado 2026-11-19 📅 Creado 2024-09-03
16
xLLM-AI/xllm

Un motor de inferencia de alto rendimiento para modelos LLM, VLM y DiT, optimizado para diversos aceleradores de IA. Está alojado en la Fundación OpenAtom.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-08-12
17
peonist-ai/halogen-flash-server

Inferencia local con un comportamiento similar al de una API de vanguardia: Qwen3.8-Flash-Next en AMD Strix Halo, junto con pequeños modelos NPU, a través de las API de OpenAI y Anthropic en un mismo puerto.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Actualizado 2026-11-18 📅 Creado 2026-08-26
18
simplexai-labs/PolyStrata

Ejecuta grandes modelos de IA en tu propio PC: Qwen3.8-Flash-Next con el motor de Strata, y GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder y MiniCPM-V con un segundo motor creado para PolyStrata. Instalación con un clic para Windows y Linux, con una API de OpenAI/Anthropic en localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Actualizado 2026-11-18 📅 Creado 2026-10-06
19
qualcomm/ai-hub-models

Qualcomm® AI Hub Models es nuestra colección de modelos de aprendizaje automático de última generación, optimizados para el rendimiento (latencia, memoria, etc.) y listos para ser implementados en dispositivos Qualcomm®.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-12-20
20
RainBowLuoCS/Gamer

Implementación oficial de Gamer: un modelo fundacional generalista de visión, lenguaje y acción para agentes de videojuegos en tiempo real con horizontes prolongados

RainBowLuoCS
⭐ 1,179 👤 RainBowLuoCS User 🕐 Actualizado 2026-11-16 📅 Creado 2026-10-30
21
PaddlePaddle/Paddle.js

Paddle.js es un proyecto web para Baidu PaddlePaddle, un framework de aprendizaje profundo de código abierto que se ejecuta en el navegador. Paddle.js puede cargar un modelo preentrenado o transformar un modelo de paddle-hub con herramientas de transformación de modelos proporcionadas por Paddle.js. Puede ejecutarse en cualquier navegador compatible con WebGL/WebGPU/WebAssembly. También puede ejecutarse en Baidu Smartprogram y WX miniprogram.

PaddlePaddle
⭐ 1,071 JavaScript 👤 PaddlePaddle Organization 🕐 Actualizado 2024-04-03 📅 Creado 2020-03-26
22
wangeai/K3Flight

Ejecute Kimi K3 localmente en la CPU con ~55 GB de RAM de tiempo de ejecución medida. Un servidor de inferencia de Linux de un solo archivo impulsado por cPilot Runtime.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 Actualizado 2026-07-31 📅 Creado 2026-07-30
23
jjang-ai/mlxstudio

MLX Studio: la forma más sencilla de ejecutar LLM en tu Mac. Un motor todo en uno.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 Actualizado 2026-11-07 📅 Creado 2026-03-05
24
zhihu/ZhiLight

Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Actualizado 2026-03-18 📅 Creado 2024-12-06
25
insight-platform/Savant

Framework de Visión por Computadora y Análisis de Video de Python con Baterías Incluidas

insight-platform
⭐ 868 Python 👤 insight-platform Organization 🕐 Actualizado 2026-09-23 📅 Creado 2022-05-07
26
mit-han-lab/omniserve

[MLSys'25] QServe: Cuantificación W4A8KV4 y codesign de sistemas para un servicio de LLM eficiente; [MLSys'25] LServe: Servicio eficiente de LLM para secuencias largas con atención dispersa unificada

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Actualizado 2025-03-06 📅 Creado 2024-05-06
27
pegainfer-project/pegainfer

Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-02-17
28
ARahim3/mlx-dspark

Decodificación de LLM hasta 4× más rápida en Apple Silicon, sin pérdidas. Port nativo para MLX de la decodificación especulativa DSpark de DeepSeek y DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 y Bonsai-27B ternario.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Actualizado 2026-11-08 📅 Creado 2026-06-29
29
prabanta-dev/janas

37 tok/s con Qwen3-Next-80B (48 GB) en un portátil de 32 GB; 24 sin borradores, frente a 2,8 con llama.cpp; lectura a 62 frente a 16 tok/s. Más rápido que llama.cpp en los 13 modelos comparados en Q4_K_M. LLM más grandes que tu RAM, en C puro, para CPU o GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-09-20
30
zhongkaifu/TensorSharp

Un motor nativo de inferencia de modelos de lenguaje grande (LLM) y un entorno de ejecución de agentes .NET para modelos GGUF. TensorSharp ofrece una aplicación de consola, una interfaz de chatbot basada en la web, una aplicación para iPhone y API HTTP compatibles con Ollama/OpenAI para el acceso mediante programación. Es compatible con Windows, macOS, iOS y Linux, con capacidades completas de GPU.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 Actualizado 2026-11-20 📅 Creado 2026-04-03
31
carloslfu/slotstream

Ejecuta un modelo de IA de 105 GB en un Mac que no puede almacenarlo. Qwen3.8-Flash-Next de 4 bits, transmitido desde un SSD en Macs con Apple Silicon y 16–64 GB de memoria. Totalmente nativo en Swift, MLX y Metal. Sin conexión y sin Python. CLI, biblioteca Swift y API de Ollama/OpenAI/Anthropic. Compatible con Claude Code y Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Actualizado 2026-11-17 📅 Creado 2026-08-28
32
andrewkchan/yalm

Otro modelo lingüístico: inferencia LLM en C++/CUDA, sin bibliotecas excepto E/S

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 Actualizado 2025-09-13 📅 Creado 2024-10-02
33
pylint-dev/astroid

Una representación base común del código fuente de Python para pylint y otros proyectos

pylint-dev
⭐ 589 Python 👤 pylint-dev Organization 🕐 Actualizado 2026-11-20 📅 Creado 2015-12-08
34
zjhellofss/KuiperLLama

Reclutamiento escolar, otoño, primavera, excelentes proyectos de prácticas, te guía para implementar desde cero un framework de inferencia de grandes modelos que soporta Llama2/3 y Qwen2.5.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 Actualizado 2025-10-28 📅 Creado 2024-04-25
35
StartLuxLabs/StartLux-Prism

Inferencia rápida y exacta para los modelos StartLux-Decision en GPU NVIDIA: los archivos GGUF publicados se ejecutan en núcleos tensoriales int8 y de 4 bits a través de la API /v1/systemone, con hasta 5,3 veces menos latencia que vLLM en FP8 y respuestas idénticas bit a bit.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Actualizado 2026-10-27 📅 Creado 2026-10-13
36
zengxiao-he/tessera

De maestro a mosaicos — un motor de destilación y servicio de LLM desde cero: kernels personalizados de Triton/CUDA, destilación FSDP, procesamiento por lotes continuo con KV paginado, decodificación especulativa, una puerta de enlace en Rust, un oráculo JAX y herramientas de interpretabilidad.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Actualizado 2026-10-09 📅 Creado 2026-06-05
37
SearchSavior/OpenArc

Motor de inferencia para dispositivos Intel. Sirve modelos LLM, VLM, Whisper, Kokoro-TTS, Embedding y Rerank a través de endpoints de OpenAI.

SearchSavior
⭐ 551 Python 👤 SearchSavior User 🕐 Actualizado 2026-11-21 📅 Creado 2025-02-11
38
OmniJev/Flide

🔥🔥 El motor de inferencia ultrarrápido para modelos de decisión

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-24
39
Generated-Computers/Locals

Ejecuta varios agentes de IA a la vez en tu Mac, hasta 3 veces más rápido.

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-12
40
brontoguana/krasis

Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos más grandes en hardware de consumo con VRAM limitada

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Actualizado 2026-11-12 📅 Creado 2026-02-09

Preguntas frecuentes

1

¿Cuál es el repositorio de #inference-engine más popular en GitHub?

El proyecto de código abierto de #inference-engine mejor posicionado en GitHub es huggingface/candle, con 21,367 estrellas. Framework ML minimalista para Rust

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #inference-engine?

Entre los proyectos de #inference-engine mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C++, Rust, Go.

3

¿Cómo se calcula la clasificación de los repositorios de #inference-engine?

Seguimos 40 repositorios activos de código abierto etiquetados con #inference-engine (500+ estrellas), que suman un total de 102,063 estrellas, con una media de 2,551 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.