Git Stars Git Stars

#inference Repositorios

144
Total de Repositorios
870,238
Total de estrellas
6,043
Promedio de Estrellas/Repo

144 repositorios en total

51
trymirai/uzu

Un motor de inferencia de alto rendimiento para modelos de IA

trymirai
⭐ 3,378 Rust 👤 trymirai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-06-23
52
openvinotoolkit/openvino_notebooks

📚 Tutoriales de Jupyter Notebook para OpenVINO™

openvinotoolkit
⭐ 3,245 Jupyter Notebook 👤 openvinotoolkit Organization 🕐 Actualizado 2026-11-21 📅 Creado 2021-03-11
53
vllm-project/vllm-ascend

Plugin de hardware para vLLM en Huawei Ascend mantenido por la comunidad

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-01-29
54
pytorch/ao

Cuantización nativa de PyTorch para entrenamiento e inferencia

pytorch
⭐ 3,032 Python 👤 pytorch Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-11-03
55
pykeio/ort

Inferencia y entrenamiento ML rápidos para modelos ONNX en Rust

pykeio
⭐ 2,626 Rust 👤 pykeio Organization 🕐 Actualizado 2026-11-18 📅 Creado 2022-11-26
56
data-infra/cube-studio

CubeStudio es una plataforma de código abierto nativa de la nube integral de aprendizaje automático/aprendizaje profundo/modelos grandes de IA/MaaS/MLOps/plataforma de inteligencia artificial/plataforma de entrenamiento e inferencia, que cubre el flujo completo del algoritmo, multiinquilino, plataforma de alquiler de potencia informática, retransmisión de tokens, orquestación de pipelines de flujo de trabajo mediante arrastrar y soltar, entrenamiento distribuido multi-máquina multi-tarjeta, búsqueda de hiperparámetros, servicios de inferencia, virtualización VGPU, colaboración nube-borde-dispositivo, computación en el borde, plataforma de anotación automatizada, ajuste fino SFT/modelo de recompensa/entrenamiento de aprendizaje por refuerzo para modelos grandes como DeepSeek, inferencia multi-máquina para modelos grandes con vLLM/Ollama/MindIE, agentes inteligentes LLMOps con base de conocimiento privada, mercado de modelos de IA, soporte para programación de potencia informática heterogénea nacional (Ascend, Cambricon, Hygon, Moore Threads, Muxi, etc.), soporte para IB/RoCE/RDMA y soporte para Xinchuang.

data-infra
⭐ 2,615 Python 👤 data-infra User 🕐 Actualizado 2026-10-12 📅 Creado 2024-07-02
57
huggingface/huggingface.js

Usa Hugging Face con JavaScript

huggingface
⭐ 2,613 TypeScript 👤 huggingface Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-02-06
58
ddalcu/mlx-serve

Servidor nativo de inferencia de LLM para Apple Silicon. Compatible con las API de OpenAI y Anthropic. Sin Python. Aplicación de macOS con backend en Zig y frontend en Swift, compatible con la generación de chat, música, voz y vídeo.

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 Actualizado 2026-11-21 📅 Creado 2026-02-17
59
google/XNNPACK

Operadores de inferencia de redes neuronales de punto flotante de alta eficiencia para dispositivos móviles, servidores y Web

google
⭐ 2,506 C 👤 google Organization 🕐 Actualizado 2026-11-21 📅 Creado 2019-09-13
60
roboflow/inference

Convierte cualquier ordenador o dispositivo perimetral en un centro de mando para tus proyectos de visión por computadora.

roboflow
⭐ 2,500 Python 👤 roboflow Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-07-31
61
theagentrouter/agent-router

Gestiona el acceso unificado a servicios de IA generativa construidos sobre Envoy Gateway

theagentrouter
⭐ 2,428 Go 👤 theagentrouter Organization 🕐 Actualizado 2026-11-19 📅 Creado 2024-10-21
62
adithya-s-k/AI-Engineering.academy

Dominando la IA aplicada, un concepto a la vez

adithya-s-k
⭐ 2,388 Jupyter Notebook 👤 adithya-s-k User 🕐 Actualizado 2026-02-27 📅 Creado 2023-10-05
63
dstackai/dstack

Una capa de orquestación unificada para computación de IA heterogénea. Estandariza la forma de gestionar los recursos de cómputo y ejecutar tareas de entrenamiento e inferencia en nubes de GPU, Kubernetes, máquinas virtuales o clústeres de servidores físicos.

dstackai
⭐ 2,319 Python 👤 dstackai Organization 🕐 Actualizado 2026-11-20 📅 Creado 2022-01-04
64
mozilla-ai/any-llm

Comuníquese con un proveedor de LLM utilizando una única interfaz

mozilla-ai
⭐ 2,265 Python 👤 mozilla-ai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-07-14
65
RightNow-AI/picolm

Ejecuta un LLM de 1 billón de parámetros en una placa de $10 con 256 MB de RAM.

RightNow-AI
⭐ 2,218 C 👤 RightNow-AI Organization 🕐 Actualizado 2026-02-22 📅 Creado 2026-02-19
66
magenta/magenta-js

Magenta.js: Generación de música y arte con aprendizaje automático en el navegador

magenta
⭐ 2,136 TypeScript 👤 magenta Organization 🕐 Actualizado 2026-06-22 📅 Creado 2018-03-26
67
tairov/llama2.mojo

Inferencia de Llama 2 en un archivo de puro 🔥

tairov
⭐ 2,126 Mojo 👤 tairov User 🕐 Actualizado 2026-09-30 📅 Creado 2023-09-10
68
deepspeedai/DeepSpeed-MII

MII hace posible la inferencia de baja latencia y alto rendimiento, impulsada por DeepSpeed.

deepspeedai
⭐ 2,107 Python 👤 deepspeedai Organization 🕐 Actualizado 2025-06-30 📅 Creado 2022-03-23
69
microsoft/aici

AICI: Prompts como programas (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Actualizado 2025-01-22 📅 Creado 2023-09-26
70
SemiAnalysisAI/InferenceX

Plataforma de investigación de inferencia de código abierto

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-07-12
71
sgl-project/sglang-omni

Entorno de ejecución de alto rendimiento para servir sistemas de superinteligencia interactivos

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-01-07
72
AgibotTech/agibot_x1_infer

El módulo de inferencia para AgiBot X1.

AgibotTech
⭐ 1,817 C++ 👤 AgibotTech Organization 🕐 Actualizado 2025-04-03 📅 Creado 2024-10-23
73
StartLuxLabs/StartLux-Decision

Modelos de decisión abiertos de 0,8B a 27B: una probabilidad calibrada para cada opción en una sola pasada y un razonamiento breve solo cuando haya incertidumbre. Motor para vLLM, llama.cpp y MLX.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 Actualizado 2026-10-23 📅 Creado 2026-09-29
74
theopenco/llmgateway

Enrute, administre y analice sus solicitudes de LLM a través de múltiples proveedores con una interfaz API unificada.

theopenco
⭐ 1,755 TypeScript 👤 theopenco Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-04-12
75
Maratyszcza/NNPACK

Paquete de aceleración para redes neuronales en CPUs multinúcleo

Maratyszcza
⭐ 1,702 C 👤 Maratyszcza User 🕐 Actualizado 2024-06-11 📅 Creado 2016-03-21
76
ELS-RD/transformer-deploy

Servidor de inferencia CPU/GPU eficiente, escalable y de nivel empresarial para modelos transformer de 🤗 Hugging Face 🚀

ELS-RD
⭐ 1,689 Python 👤 ELS-RD Organization 🕐 Actualizado 2024-10-23 📅 Creado 2021-10-31
77
RunanywhereAI/trnrt

El motor de inferencia de LLM de código abierto para AWS Trainium: megakernels NKI, contexto de 1 millón de tokens y API compatible con OpenAI. De RunAnywhere.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-10-30
78
xLLM-AI/xllm

Un motor de inferencia de alto rendimiento para modelos LLM, VLM y DiT, optimizado para diversos aceleradores de IA. Está alojado en la Fundación OpenAtom.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-08-12
79
Delta-ML/delta

DELTA es una plataforma de procesamiento de lenguaje natural y voz basada en aprendizaje profundo. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/

Delta-ML
⭐ 1,602 Python 👤 Delta-ML Organization 🕐 Actualizado 2025-04-16 📅 Creado 2019-05-29
80
utkuozdemir/nvidia_gpu_exporter

Exportador de GPU NVIDIA para Prometheus mediante el binario nvidia-smi O NVML

utkuozdemir
⭐ 1,599 Go 👤 utkuozdemir User 🕐 Actualizado 2026-11-20 📅 Creado 2021-06-08
81
Tencent/TurboTransformers

un entorno de ejecución rápido y fácil de usar para la inferencia de transformadores (Bert, Albert, GPT2, Decoders, etc.) en CPU y GPU.

Tencent
⭐ 1,546 C++ 👤 Tencent Organization 🕐 Actualizado 2025-07-18 📅 Creado 2020-04-20
⭐ 1,503 Python 👤 Stability-AI Organization 🕐 Actualizado 2025-01-08 📅 Creado 2024-10-09
83
sybil-solutions/inference-optimisation-skill

Habilidad de agente para optimizar iterativamente la velocidad de servicio de LLM locales (decodificación, decodificación especulativa, prefill, KV, inicio y TTFT) en cualquier hardware y con cualquier cuantización

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 Actualizado 2026-11-16 📅 Creado 2026-11-16
84
alibaba/rtp-llm

RTP-LLM: El motor de inferencia LLM de alto rendimiento de Alibaba para diversas aplicaciones.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-12-27
85
ebhy/budgetml

Implemente un servicio de inferencia de ML con un presupuesto limitado en menos de 10 líneas de código.

ebhy
⭐ 1,345 Python 👤 ebhy Organization 🕐 Actualizado 2024-02-12 📅 Creado 2020-12-27
86
StarlightSearch/EmbedAnything

Inferencia, ingesta e indexación de alto rendimiento, modulares, seguras en memoria y listas para producción, construidas en Rust 🦀

StarlightSearch
⭐ 1,334 Rust 👤 StarlightSearch Organization 🕐 Actualizado 2026-11-18 📅 Creado 2024-03-31
87
qualcomm/ai-hub-models

Qualcomm® AI Hub Models es nuestra colección de modelos de aprendizaje automático de última generación, optimizados para el rendimiento (latencia, memoria, etc.) y listos para ser implementados en dispositivos Qualcomm®.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-12-20
88
NVIDIA/kvpress

Compresión de caché KV de LLM facilitada

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 Actualizado 2026-11-16 📅 Creado 2024-11-06
89
FenTechSolutions/CausalDiscoveryToolbox

Paquete para inferencia causal en grafos y en configuraciones por pares. Incluye herramientas para la recuperación de la estructura del grafo y dependencias.

FenTechSolutions
⭐ 1,242 Python 👤 FenTechSolutions Organization 🕐 Actualizado 2025-10-13 📅 Creado 2017-05-31
90
run-house/kubetorch

Distribuya y ejecute cargas de trabajo de IA en Kubernetes mágicamente en Python, como PyTorch para la infraestructura de ML.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Actualizado 2026-05-29 📅 Creado 2022-05-10
91
google/agentmesh

Malla de agentes

google
⭐ 1,208 Go 👤 google Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-04-21
92
jmaczan/tiny-vllm

Construye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA - una versión más pequeña de vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Actualizado 2026-11-15 📅 Creado 2026-02-09
93
chrishayuk/larql

Ejecuta, sirve, consulta y edita modelos de IA: un entorno de ejecución de modelos en Rust basado en VINDEX3, un formato de modelo ejecutable e inspeccionable.

chrishayuk
⭐ 1,196 Rust 👤 chrishayuk User 🕐 Actualizado 2026-11-21 📅 Creado 2026-03-27
94
usamahz/cpu-performance-engineering

Una ruta de lectura sobre ingeniería del rendimiento de CPU, desde una sola instrucción hasta la inferencia en producción. Solo fuentes primarias, con un benchmark ejecutable para cada sección.

usamahz
⭐ 1,160 Python 👤 usamahz User 🕐 Actualizado 2026-10-08 📅 Creado 2026-09-17
95
receptron/laya

Ejecuta Laya, el modelo de toma de decisiones System-1 de código abierto y compatible con Jev, desde Node.js / TypeScript mediante ONNX Runtime

receptron
⭐ 1,092 TypeScript 👤 receptron Organization 🕐 Actualizado 2026-10-17 📅 Creado 2026-09-19
96
Helldez/BigMoeOnEdge

Ejecuta modelos MoE más grandes que tu RAM. MoE de última generación en un teléfono, portátil o dispositivo edge. Sin pérdidas, con llama.cpp sin modificar. Un optimizador de streaming adaptativo. Cualquier hardware, sistema operativo, modelo y cuantización, a través de un servidor local compatible con OpenAI.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Actualizado 2026-11-21 📅 Creado 2026-07-10
97
jjang-ai/mlxstudio

MLX Studio: la forma más sencilla de ejecutar LLM en tu Mac. Un motor todo en uno.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 Actualizado 2026-11-07 📅 Creado 2026-03-05
98
efeslab/Nanoflow

Un framework de servicio de alto rendimiento orientado al rendimiento para LLM

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Actualizado 2026-03-29 📅 Creado 2024-08-19
99
openvinotoolkit/model_server

Un servidor de inferencia escalable para modelos optimizados con OpenVINO™

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 Actualizado 2026-11-21 📅 Creado 2018-09-26
100
huawei-noah/bolt

Bolt es una biblioteca de aprendizaje profundo con alto rendimiento y flexibilidad heterogénea.

huawei-noah
⭐ 958 C++ 👤 huawei-noah Organization 🕐 Actualizado 2025-04-11 📅 Creado 2019-12-02