Git Stars Git Stars

#llm-inference Repositorios

Descubre 202 repositorios activos de código abierto de GitHub etiquetados con #llm-inference, que acumulan 1,046,424 estrellas en total (una media de 5,180 estrellas por proyecto). El líder de este tema es deepseek-ai/DeepSeek-V3, con 104,417 estrellas.

202
Total de Repositorios
1.0M
Total de estrellas
5,180
Promedio de Estrellas/Repo

202 repositorios en total

⭐ 104,417 Python 👤 deepseek-ai Organization 🕐 Actualizado 2025-08-28 📅 Creado 2024-12-26
2
nomic-ai/gpt4all

GPT4All: Ejecuta LLMs locales en cualquier dispositivo. Código abierto y disponible para uso comercial.

nomic-ai
⭐ 77,352 C++ 👤 nomic-ai Organization 🕐 Actualizado 2025-05-27 📅 Creado 2023-03-27
3
oobabooga/textgen

Aplicación de escritorio de código abierto para LLM locales. Texto, visión, llamada a herramientas, API compatible con OpenAI/Anthropic. 100% privada.

oobabooga
⭐ 47,736 Python 👤 oobabooga User 🕐 Actualizado 2026-08-17 📅 Creado 2022-12-21
4
ray-project/ray

Ray es un motor de cómputo de IA. Ray consiste en un runtime distribuido central y un conjunto de bibliotecas de IA para acelerar cargas de trabajo de ML.

ray-project
⭐ 44,352 Python 👤 ray-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2016-10-25
5
microsoft/BitNet

Marco de inferencia oficial para LLM de 1 bit

microsoft
⭐ 42,358 C++ 👤 microsoft Organization 🕐 Actualizado 2026-07-27 📅 Creado 2024-08-05
6
gitleaks/gitleaks

Encuentra secretos con Gitleaks 🔑

gitleaks
⭐ 31,234 Go 👤 gitleaks Organization 🕐 Actualizado 2026-10-28 📅 Creado 2018-01-27
7
QwenLM/Qwen3

Qwen3 es la serie de modelos de lenguaje grandes desarrollada por el equipo Qwen de Alibaba Cloud.

QwenLM
⭐ 27,753 Python 👤 QwenLM Organization 🕐 Actualizado 2026-01-09 📅 Creado 2024-02-05
8
Hannibal046/Awesome-LLM

Awesome-LLM: una lista curada de Large Language Model

Hannibal046
⭐ 27,212 👤 Hannibal046 User 🕐 Actualizado 2025-07-31 📅 Creado 2023-02-17
9
google-ai-edge/gallery

Una galería que muestra casos de uso de ML/GenAI en el dispositivo y permite a las personas probar y utilizar modelos localmente.

google-ai-edge
⭐ 25,398 Kotlin 👤 google-ai-edge Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-03-31
10
liguodongiot/llm-action

Este proyecto tiene como objetivo compartir los principios técnicos y la experiencia práctica relacionados con modelos grandes (ingeniería de modelos grandes, implementación práctica de modelos grandes).

liguodongiot
⭐ 25,297 HTML 👤 liguodongiot User 🕐 Actualizado 2026-10-14 📅 Creado 2023-05-23
11
deepseek-ai/DeepSeek-OCR

Compresión óptica de contextos

deepseek-ai
⭐ 24,180 Python 👤 deepseek-ai Organization 🕐 Actualizado 2026-01-27 📅 Creado 2025-10-17
12
kvcache-ai/ktransformers

Un marco flexible para experimentar optimizaciones de inferencia/ajuste fino de LLM heterogéneos

kvcache-ai
⭐ 19,687 Python 👤 kvcache-ai Organization 🕐 Actualizado 2026-11-13 📅 Creado 2024-07-26
13
karpathy/llama2.c

Inferencia Llama 2 en un solo archivo C puro

karpathy
⭐ 19,062 C 👤 karpathy User 🕐 Actualizado 2024-08-06 📅 Creado 2023-07-23
14
Stability-AI/StableLM

StableLM: Modelos de Lenguaje de Stability AI

Stability-AI
⭐ 15,784 Jupyter Notebook 👤 Stability-AI Organization 🕐 Actualizado 2024-04-08 📅 Creado 2023-04-19
15
mindverse/Second-Me

Entrena tu yo IA, amplifícate, une el mundo

mindverse
⭐ 15,688 Python 👤 mindverse Organization 🕐 Actualizado 2025-09-30 📅 Creado 2025-03-16
16
Lightning-AI/litgpt

Más de 20 LLM de alto rendimiento con recetas para preentrenar, ajustar y desplegar a escala.

Lightning-AI
⭐ 13,757 Python 👤 Lightning-AI Organization 🕐 Actualizado 2026-11-10 📅 Creado 2023-05-04
17
deepseek-ai/FlashMLA

FlashMLA: Kernels de atención latente multi-cabeza eficientes

deepseek-ai
⭐ 13,275 C++ 👤 deepseek-ai Organization 🕐 Actualizado 2026-10-27 📅 Creado 2025-02-21
18
bentoml/OpenLLM

Ejecute cualquier LLM de código abierto, como DeepSeek y Llama, como un endpoint API compatible con OpenAI en la nube.

bentoml
⭐ 12,610 Python 👤 bentoml Organization 🕐 Actualizado 2026-11-16 📅 Creado 2023-04-19
19
FareedKhan-dev/kimi-k3-in-c

Un modelo Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Actualizado 2026-11-16 📅 Creado 2026-08-01
20
openvinotoolkit/openvino

OpenVINO™ es un kit de herramientas de código abierto para optimizar y desplegar inferencia de IA.

openvinotoolkit
⭐ 11,869 C++ 👤 openvinotoolkit Organization 🕐 Actualizado 2026-11-21 📅 Creado 2018-10-15
21
mistralai/mistral-inference

Biblioteca de inferencia oficial para modelos Mistral

mistralai
⭐ 10,809 Jupyter Notebook 👤 mistralai Organization 🕐 Actualizado 2026-04-20 📅 Creado 2023-09-27
22
abetlen/llama-cpp-python

Bindings de Python para llama.cpp

abetlen
⭐ 10,691 Python 👤 abetlen User 🕐 Actualizado 2026-11-21 📅 Creado 2023-03-23
23
Tiiny-AI/PowerInfer

Servicio de modelos de lenguaje grandes de alta velocidad para implementación local

Tiiny-AI
⭐ 9,893 C++ 👤 Tiiny-AI Organization 🕐 Actualizado 2026-05-11 📅 Creado 2023-12-15
24
bentoml/BentoML

La forma más fácil de servir aplicaciones y modelos de IA - ¡Construye APIs de inferencia de modelo, colas de trabajos, apps LLM, pipelines multi-modelo y más!

bentoml
⭐ 8,944 Python 👤 bentoml Organization 🕐 Actualizado 2026-11-17 📅 Creado 2019-04-02
25
ai-dynamo/dynamo

Un marco de servicio de inferencia distribuido a escala de centro de datos

ai-dynamo
⭐ 8,542 Rust 👤 ai-dynamo Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-03-03
26
bojieli/ai-infra-book

《Comprender en profundidad la infraestructura de IA: análisis cuantitativo y diseño de sistemas》 (por Li Bojie), un manuscrito de libro de código abierto: partiendo de las restricciones del hardware y de las arquitecturas de los modelos, deriva cuantitativamente el diseño de sistemas de inferencia y entrenamiento de LLM. Incluye el texto completo, el PDF, herramientas de cálculo complementarias y experimentos.

bojieli
⭐ 8,179 Python 👤 bojieli User 🕐 Actualizado 2026-10-01 📅 Creado 2026-08-22
27
InternLM/lmdeploy

LMDeploy es un kit de herramientas para comprimir, implementar y servir LLM.

InternLM
⭐ 8,153 Python 👤 InternLM Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-06-15
28
algorithmicsuperintelligence/openevolve

Implementación de código abierto de AlphaEvolve

algorithmicsuperintelligence
⭐ 7,835 Python 👤 algorithmicsuperintelligence Organization 🕐 Actualizado 2026-11-20 📅 Creado 2025-05-15
29
drumih/turbo-fieldfare

Inferencia de Gemma 4 26B-A4B en ~2 GB de RAM en cualquier MacBook con chip serie M

drumih
⭐ 7,432 Swift 👤 drumih User 🕐 Actualizado 2026-11-14 📅 Creado 2026-07-17
30
mit-han-lab/streaming-llm

[ICLR 2024] Modelos de Lenguaje Eficientes en Streaming con Sumideros de Atención

mit-han-lab
⭐ 7,165 Python 👤 mit-han-lab Organization 🕐 Actualizado 2024-07-11 📅 Creado 2023-09-29
31
katanemo/plano

Plano es un servidor proxy nativo de IA y un plano de datos para aplicaciones de agentes. Enrutamiento inteligente de LLM, observabilidad, orquestación de agentes y barreras de seguridad para que te centres en la lógica central de tus agentes.

katanemo
⭐ 7,118 Rust 👤 katanemo Organization 🕐 Actualizado 2026-10-24 📅 Creado 2024-07-09
32
google/gemma.cpp

motor de inferencia C++ ligero e independiente para los modelos Gemma de Google.

google
⭐ 7,089 C++ 👤 google Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-02-13
33
deepseek-ai/DeepSeek-Coder-V2

DeepSeek-Coder-V2: Rompiendo la barrera de los modelos de código cerrado en inteligencia de código

deepseek-ai
⭐ 7,030 👤 deepseek-ai Organization 🕐 Actualizado 2025-11-11 📅 Creado 2024-06-14
34
karminski/one-small-step

Este es un sencillo proyecto de tutorial técnico科普, centrado principalmente en explicar conceptos y principios tecnológicos interesantes y de vanguardia. Cada artículo se esfuerza por completarse en 5 minutos de lectura.

karminski
⭐ 7,006 Python 👤 karminski User 🕐 Actualizado 2026-03-08 📅 Creado 2025-01-16
35
flashinfer-ai/flashinfer

FlashInfer: Biblioteca de Kernel para Servicio de LLM

flashinfer-ai
⭐ 6,982 Cuda 👤 flashinfer-ai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2023-07-22
36
simplescaling/s1

s1: Escalado simple en tiempo de ejecución

simplescaling
⭐ 6,656 Python 👤 simplescaling Organization 🕐 Actualizado 2025-06-25 📅 Creado 2025-02-01
37
lemonade-sdk/lemonade

Lemonade ayuda a los usuarios a descubrir y ejecutar aplicaciones de IA locales sirviendo LLMs optimizados directamente desde sus propias GPUs y NPUs. Únete a nuestro Discord: https://discord.gg/5xXzkMu8Zk

lemonade-sdk
⭐ 6,262 C++ 👤 lemonade-sdk Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-05-15
38
kserve/kserve

Plataforma de inferencia de IA generativa y predictiva distribuida estandarizada para despliegue escalable y multi-framework en Kubernetes

kserve
⭐ 6,253 Go 👤 kserve Organization 🕐 Actualizado 2026-11-20 📅 Creado 2019-03-27
39
meta-pytorch/gpt-fast

Generación de texto Transformer simple y eficiente, nativa de Pytorch, en <1000 LOC de Python.

meta-pytorch
⭐ 6,244 Python 👤 meta-pytorch Organization 🕐 Actualizado 2025-08-22 📅 Creado 2023-10-17
40
cactus-compute/engine

Cuantización de 2 bits, kernels y entorno de ejecución para dispositivos de consumo.

cactus-compute
⭐ 6,200 C++ 👤 cactus-compute Organization 🕐 Actualizado 2026-11-05 📅 Creado 2025-04-23
41
gpustack/gpustack

Un gestor de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU bajo demanda accesibles mediante SSH.

gpustack
⭐ 6,097 Python 👤 gpustack Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-05-11
42
Michael-A-Kuykendall/shimmy

⚡ Motor de inferencia WebGPU en Rust puro — Compatible con la API de OpenAI, nativo para GGUF, funciona en cualquier GPU. Sin Python. Sin llama.cpp. Un solo binario.

Michael-A-Kuykendall
⭐ 6,020 Rust 👤 Michael-A-Kuykendall User 🕐 Actualizado 2026-11-12 📅 Creado 2025-08-28
43
alexzhang13/rlm

Biblioteca de inferencia general "plug-and-play" para Modelos de Lenguaje Recursivos (RLM), que soporta varios entornos aislados (sandboxes).

alexzhang13
⭐ 5,776 Python 👤 alexzhang13 User 🕐 Actualizado 2026-11-21 📅 Creado 2025-12-20
44
sgl-project/mini-sglang

Una implementación compacta de SGLang, diseñada para desmitificar las complejidades de los modernos sistemas de servicio de LLM.

sgl-project
⭐ 5,623 Python 👤 sgl-project Organization 🕐 Actualizado 2026-05-17 📅 Creado 2025-09-01
45
xlite-dev/Awesome-LLM-Inference

📚Una lista seleccionada de increíbles artículos sobre inferencia LLM/VLM con códigos: Flash-Attention, Paged-Attention, WINT8/4, Paralelismo, etc.🎉

xlite-dev
⭐ 5,565 Python 👤 xlite-dev Organization 🕐 Actualizado 2026-10-20 📅 Creado 2023-08-27
46
superduper-io/superduper

Superduper: Framework de extremo a extremo para la creación de aplicaciones y agentes de IA personalizados.

superduper-io
⭐ 5,317 Python 👤 superduper-io Organization 🕐 Actualizado 2025-09-01 📅 Creado 2022-08-30
47
ztxz16/fastllm

fastllm es una biblioteca de inferencia de modelos de lenguaje grandes de alto rendimiento que no depende de ningún backend y le ayuda a ejecutar inferencias de forma eficiente en la mayoría de los dispositivos.

ztxz16
⭐ 5,133 C++ 👤 ztxz16 User 🕐 Actualizado 2026-11-21 📅 Creado 2023-05-13
48
deepseek-ai/DeepSeek-V2

DeepSeek-V2: Un modelo de lenguaje de mezcla de expertos fuerte, económico y eficiente

deepseek-ai
⭐ 4,988 👤 deepseek-ai Organization 🕐 Actualizado 2024-09-25 📅 Creado 2024-04-22
49
FellouAI/eko

Eko (Eko sigue operando) - Construya flujos de trabajo agentivos listos para producción con lenguaje natural - eko.fellou.ai

FellouAI
⭐ 4,963 TypeScript 👤 FellouAI Organization 🕐 Actualizado 2026-03-03 📅 Creado 2024-11-23
50
ruvnet/RuVector

RuVector proporciona toma de decisiones y memoria de agentes de alto rendimiento en tiempo real, IA autodidacta y una base de datos GNN vectorial desarrollada en Rust.

ruvnet
⭐ 4,713 Rust 👤 ruvnet User 🕐 Actualizado 2026-11-21 📅 Creado 2025-11-19

Preguntas frecuentes

1

¿Cuál es el repositorio de #llm-inference más popular en GitHub?

El proyecto de código abierto de #llm-inference mejor posicionado en GitHub es deepseek-ai/DeepSeek-V3, con 104,417 estrellas.

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #llm-inference?

Entre los proyectos de #llm-inference mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C++, Rust, Go.

3

¿Cómo se calcula la clasificación de los repositorios de #llm-inference?

Seguimos 202 repositorios activos de código abierto etiquetados con #llm-inference (500+ estrellas), que suman un total de 1,046,424 estrellas, con una media de 5,180 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.