Git Stars Git Stars

#inference Repositorios

Descubre 144 repositorios activos de código abierto de GitHub etiquetados con #inference, que acumulan 870,238 estrellas en total (una media de 6,043 estrellas por proyecto). El líder de este tema es vllm-project/vllm, con 97,302 estrellas.

144
Total de Repositorios
870,238
Total de estrellas
6,043
Promedio de Estrellas/Repo

144 repositorios en total

1
vllm-project/vllm

Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria

vllm-project
⭐ 97,302 Python 👤 vllm-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-02-09
2
ultralytics/yolov5

Ultralytics YOLOv5 en PyTorch para detección de objetos, segmentación de instancias, clasificación, entrenamiento y exportación.

ultralytics
⭐ 58,290 Python 👤 ultralytics Organization 🕐 Actualizado 2026-11-16 📅 Creado 2020-05-18
3
ggml-org/whisper.cpp

Puerto del modelo Whisper de OpenAI en C/C++

ggml-org
⭐ 55,392 C++ 👤 ggml-org Organization 🕐 Actualizado 2026-11-20 📅 Creado 2022-09-25
4
deepspeedai/DeepSpeed

DeepSpeed es una biblioteca de optimización de aprendizaje profundo que hace que el entrenamiento distribuido y la inferencia sean fáciles, eficientes y efectivos.

deepspeedai
⭐ 43,348 Python 👤 deepspeedai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2020-01-23
5
hpcaitech/ColossalAI

Hacer que los modelos grandes de IA sean más baratos, rápidos y accesibles

hpcaitech
⭐ 41,421 Python 👤 hpcaitech Organization 🕐 Actualizado 2026-11-19 📅 Creado 2021-10-28
6
sgl-project/sglang

SGLang es un marco de servicio de alto rendimiento para modelos de lenguaje grandes y modelos multimodales.

sgl-project
⭐ 38,899 Python 👤 sgl-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-01-08
7
google-ai-edge/mediapipe

Soluciones ML multiplataforma y personalizables para medios en vivo y de streaming.

google-ai-edge
⭐ 37,769 C++ 👤 google-ai-edge Organization 🕐 Actualizado 2026-11-21 📅 Creado 2019-06-13
8
SYSTRAN/faster-whisper

Transcripción Whisper más rápida con CTranslate2

SYSTRAN
⭐ 26,924 Python 👤 SYSTRAN Organization 🕐 Actualizado 2026-11-12 📅 Creado 2023-02-11
9
Tencent/ncnn

ncnn es un framework de inferencia de redes neuronales de alto rendimiento optimizado para plataformas móviles

Tencent
⭐ 24,082 C++ 👤 Tencent Organization 🕐 Actualizado 2026-11-21 📅 Creado 2017-06-30
10
stas00/ml-engineering

Libro abierto de Ingeniería de Aprendizaje Automático

stas00
⭐ 19,738 Python 👤 stas00 User 🕐 Actualizado 2026-11-20 📅 Creado 2020-09-02
11
FlashML-org/FreeToken

FreeToken lleva el servicio de modelos a escala de centro de datos a tu escritorio. Ejecuta modelos masivos localmente, de forma rápida y eficiente.

FlashML-org
⭐ 17,522 Python 👤 FlashML-org User 🕐 Actualizado 2026-11-21 📅 Creado 2026-07-20
⭐ 16,519 Python 👤 GeeeekExplorer User 🕐 Actualizado 2026-04-26 📅 Creado 2025-06-09
13
gvergnaud/ts-pattern

🎨 La exhaustiva biblioteca de Coincidencia de Patrones para TypeScript, con inferencia de tipos inteligente.

gvergnaud
⭐ 15,224 TypeScript 👤 gvergnaud User 🕐 Actualizado 2026-11-20 📅 Creado 2020-05-24
14
NVIDIA/TensorRT

NVIDIA® TensorRT™ es un SDK para inferencia de aprendizaje profundo de alto rendimiento en GPUs de NVIDIA. Este repositorio contiene los componentes de código abierto de TensorRT.

NVIDIA
⭐ 13,475 C++ 👤 NVIDIA Organization 🕐 Actualizado 2026-11-18 📅 Creado 2019-05-02
15
LMCache/LMCache

LMCache: Potencia tu LLM con la capa de caché KV más rápida

LMCache
⭐ 12,405 Python 👤 LMCache Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-05-28
16
openvinotoolkit/openvino

OpenVINO™ es un kit de herramientas de código abierto para optimizar y desplegar inferencia de IA.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Actualizado 2026-11-21 📅 Creado 2018-10-15
17
triton-inference-server/server

El servidor de inferencia Triton proporciona una solución de inferencia optimizada para la nube y el borde.

triton-inference-server
⭐ 11,156 Python 👤 triton-inference-server Organization 🕐 Actualizado 2026-11-20 📅 Creado 2018-10-04
18
aws/amazon-sagemaker-examples

Cuadernos de Jupyter 📓 de ejemplo que demuestran cómo construir, entrenar e implementar modelos de aprendizaje automático usando 🧠 Amazon SageMaker.

aws
⭐ 11,020 Jupyter Notebook 👤 aws Organization 🕐 Actualizado 2026-10-14 📅 Creado 2017-10-23
19
huggingface/text-generation-inference

Inferencia de generación de texto de modelos de lenguaje grandes

huggingface
⭐ 10,812 Python 👤 huggingface Organization 🕐 Actualizado 2026-01-08 📅 Creado 2022-10-08
20
ultralytics/yolov3

Implementación en PyTorch de YOLOv3, YOLOv3-SPP y YOLOv3-tiny para detección de objetos en tiempo real con entrenamiento, validación, inferencia y exportación en múltiples formatos.

ultralytics
⭐ 10,647 Python 👤 ultralytics Organization 🕐 Actualizado 2026-11-07 📅 Creado 2018-08-26
21
RunanywhereAI/runanywhere-sdks

Kit de herramientas listo para producción para ejecutar IA localmente

RunanywhereAI
⭐ 10,354 C++ 👤 RunanywhereAI Organization 🕐 Actualizado 2026-11-10 📅 Creado 2025-07-22
22
xorbitsai/inference

Plataforma de inferencia de código abierto para modelos de lenguaje, visión, embeddings, reranking, imágenes, audio y vídeo. Despliega con varios motores en hardware heterogéneo, desde un portátil hasta un clúster distribuido. Ofrece modelos a través de API compatibles con OpenAI.

xorbitsai
⭐ 9,667 Python 👤 xorbitsai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-06-14
23
oumi-ai/oumi

¡Ajusta finamente (SFT/RL), evalúa y despliega Qwen, Gemma o cualquier LLM/VLM agéntico de código abierto!

oumi-ai
⭐ 9,441 Python 👤 oumi-ai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-05-07
24
dusty-nv/jetson-inference

Guía Hello AI World para implementar redes de inferencia de aprendizaje profundo y primitivas de visión profunda con TensorRT y NVIDIA Jetson.

dusty-nv
⭐ 9,015 C++ 👤 dusty-nv User 🕐 Actualizado 2025-10-16 📅 Creado 2016-07-30
25
vllm-project/vllm-omni

Un marco para la inferencia de modelo eficiente con modelos de omnimodalidad

vllm-project
⭐ 7,884 Python 👤 vllm-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-09-11
26
Human-Agent-Society/reef

Infraestructura para agentes que se mejoran continuamente

Human-Agent-Society
⭐ 7,652 Python 👤 Human-Agent-Society Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-08-31
27
mizorewww/laya-mlx

Entorno de ejecución nativo de MLX para modelos de decisión tipados de Laya: decisiones cortas en 7–14 ms en un M3 Max. Sin generación de texto, PyTorch ni API en la nube.

mizorewww
⭐ 7,115 Python 👤 mizorewww User 🕐 Actualizado 2026-11-21 📅 Creado 2026-09-19
28
kvcache-ai/Mooncake

Mooncake es la plataforma de servicio para Kimi, un servicio líder de LLM proporcionado por Moonshot AI.

kvcache-ai
⭐ 7,100 C++ 👤 kvcache-ai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-06-25
29
gcanti/io-ts

Sistema de tipos en tiempo de ejecución para decodificación/codificación de E/S

gcanti
⭐ 6,812 TypeScript 👤 gcanti User 🕐 Actualizado 2024-12-10 📅 Creado 2017-01-28
30
vllm-project/semantic-router

Una capa de decisión abierta y programable para modelos y computación.

vllm-project
⭐ 6,514 Go 👤 vllm-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-08-26
31
argmaxinc/argmax-oss-swift

IA de Voz en Dispositivo para Apple Silicon

argmaxinc
⭐ 6,471 Swift 👤 argmaxinc Organization 🕐 Actualizado 2026-10-27 📅 Creado 2024-01-26
32
Trusted-AI/adversarial-robustness-toolbox

Caja de Herramientas de Robustez Adversarial (ART) - Biblioteca de Python para la Seguridad en Aprendizaje Automático - Evasión, Envenenamiento, Extracción, Inferencia - Equipos Rojo y Azul

Trusted-AI
⭐ 6,322 Python 👤 Trusted-AI Organization 🕐 Actualizado 2026-11-13 📅 Creado 2018-03-15
33
gpustack/gpustack

Un gestor de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU bajo demanda accesibles mediante SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-05-11
34
llm-d/llm-d

Rendimiento de inferencia de última generación con aceleradores modernos en Kubernetes

llm-d
⭐ 5,325 Python 👤 llm-d Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-04-29
35
superduper-io/superduper

Superduper: Framework de extremo a extremo para la creación de aplicaciones y agentes de IA personalizados.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Actualizado 2025-09-01 📅 Creado 2022-08-30
36
tencentmusic/cube-studio

cube studio Plataforma de IA todo en uno nativa de la nube, de código abierto, para aprendizaje automático/aprendizaje profundo/modelos grandes, flujo completo de enlaces de algoritmos MLOps, plataforma de alquiler de potencia de cómputo, desarrollo en línea de Notebook, orquestación de pipeline de flujo de tareas de arrastrar y soltar, entrenamiento distribuido multi-máquina multi-GPU, búsqueda de hiperparámetros, virtualización VGPU de servicio de inferencia, computación en el borde, anotación automatizada de la plataforma de anotación, ajuste fino SFT de modelos grandes/Modelo de recompensa/Entrenamiento de aprendizaje por refuerzo de Deepseek, inferencia multi-máquina de modelos grandes como vLLM/Ollama/MindSpore, base de conocimientos privada, mercado de modelos de IA, soporte para el ecosistema Ascend de CPU/GPU/NPU domésticos, soporte RDMA, soporte para frameworks distribuidos como PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano

tencentmusic
⭐ 5,085 👤 tencentmusic Organization 🕐 Actualizado 2026-10-09 📅 Creado 2021-08-17
37
NVIDIA-AI-IOT/torch2trt

Un convertidor de PyTorch a TensorRT fácil de usar

NVIDIA-AI-IOT
⭐ 4,840 Python 👤 NVIDIA-AI-IOT Organization 🕐 Actualizado 2024-08-17 📅 Creado 2019-04-27
38
hao-ai-lab/FastVideo

Un marco unificado de inferencia y post-entrenamiento para la generación acelerada de videos.

hao-ai-lab
⭐ 4,833 Python 👤 hao-ai-lab Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-10-24
39
OpenNMT/CTranslate2

Motor de inferencia rápida para modelos Transformer

OpenNMT
⭐ 4,758 C++ 👤 OpenNMT Organization 🕐 Actualizado 2026-11-21 📅 Creado 2019-09-23
40
Tencent/TNN

TNN: Desarrollado por Tencent Youtu Lab y Guangying Lab, un framework de inferencia de aprendizaje profundo unificado para móviles, escritorios y servidores. TNN se distingue por varias características sobresalientes, que incluyen su capacidad multiplataforma, alto rendimiento, compresión de modelos y poda de código. Basado en ncnn y Rapidnet, TNN fortalece aún más el soporte y la optimización del rendimiento para dispositivos móviles, y también aprovecha las ventajas de buena extensibilidad y alto rendimiento de los esfuerzos de código abierto existentes.

Tencent
⭐ 4,635 C++ 👤 Tencent Organization 🕐 Actualizado 2025-05-09 📅 Creado 2020-05-29
41
typedb/typedb

TypeDB: Creado para sistemas, no para registros

typedb
⭐ 4,524 Rust 👤 typedb Organization 🕐 Actualizado 2026-11-19 📅 Creado 2016-07-11
42
openvinotoolkit/open_model_zoo

Modelos y demostraciones de aprendizaje profundo preentrenados (alta calidad y extremadamente rápidos)

openvinotoolkit
⭐ 4,440 Python 👤 openvinotoolkit Organization 🕐 Actualizado 2026-11-16 📅 Creado 2018-10-15
43
zml/zml

Cualquier modelo. Cualquier hardware. Cero compromisos. Construido con @ziglang / @openxla / MLIR / @bazelbuild

zml
⭐ 4,292 Zig 👤 zml Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-09-17
44
uxlfoundation/oneDNN

Biblioteca de código abierto de operaciones optimizadas de aprendizaje profundo (multiplicación de matrices, convolución y atención) para CPU (x64, AArch64 y RISC-V) y GPU de Intel. Utilizada por PyTorch, TensorFlow, OpenVINO y ONNX Runtime.

uxlfoundation
⭐ 4,094 C++ 👤 uxlfoundation Organization 🕐 Actualizado 2026-11-21 📅 Creado 2016-05-09
45
OpenCSGs/csghub

CSGHub es una plataforma de código abierto completamente nueva para la gestión de LLM, desarrollada por el equipo de OpenCSG. Ofrece soluciones de código abierto y locales/SaaS, con características comparables a las de Hugging Face. Obtenga control total sobre el ciclo de vida de LLM, conjuntos de datos y agentes, con compatibilidad del SDK de Python con Hugging Face. ¡Únete a nosotros! ⭐️

OpenCSGs
⭐ 4,083 Vue 👤 OpenCSGs Organization 🕐 Actualizado 2026-11-13 📅 Creado 2024-01-12
46
FlashML-org/FreeVideo

Crea vídeos en el ordenador que ya tienes. FreeVideo ejecuta MiniMax H3 con tan solo 8 GB de VRAM y 16 GB de RAM, y adapta su ruta de aceleración a tu hardware.

FlashML-org
⭐ 4,049 Python 👤 FlashML-org User 🕐 Actualizado 2026-11-20 📅 Creado 2026-09-13
47
PaddlePaddle/FastDeploy

Toolkit de inferencia y despliegue de alto rendimiento para LLM y VLM basado en PaddlePaddle

PaddlePaddle
⭐ 3,722 Python 👤 PaddlePaddle Organization 🕐 Actualizado 2026-09-24 📅 Creado 2022-06-27
48
superlinked/sie

Servidor de inferencia de código abierto y clúster de producción para todos los modelos que necesita su agente.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-11-07
49
huggingface/optimum

Acelera la inferencia y el entrenamiento de 🤗 Transformers, Diffusers, TIMM y Sentence Transformers con herramientas de optimización de hardware fáciles de usar

huggingface
⭐ 3,525 Python 👤 huggingface Organization 🕐 Actualizado 2026-11-16 📅 Creado 2021-07-20
50
zjhellofss/KuiperInfer

¡Buen proyecto para el reclutamiento universitario, otoño, primavera y prácticas! Te guiaremos paso a paso para implementar una biblioteca de inferencia de aprendizaje profundo de alto rendimiento, que admita la inferencia de modelos grandes como llama2, Unet, YoloV5, Resnet, etc. Implemente una biblioteca de inferencia de aprendizaje profundo de alto rendimiento paso a paso.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Actualizado 2025-06-22 📅 Creado 2022-11-21

Preguntas frecuentes

1

¿Cuál es el repositorio de #inference más popular en GitHub?

El proyecto de código abierto de #inference mejor posicionado en GitHub es vllm-project/vllm, con 97,302 estrellas. Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #inference?

Entre los proyectos de #inference mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C++, TypeScript, Jupyter Notebook.

3

¿Cómo se calcula la clasificación de los repositorios de #inference?

Seguimos 144 repositorios activos de código abierto etiquetados con #inference (500+ estrellas), que suman un total de 870,238 estrellas, con una media de 6,043 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.