Git Stars Git Stars

#llm-inference Repositorios

202
Total de Repositorios
1.0M
Total de estrellas
5,180
Promedio de Estrellas/Repo

202 repositorios en total

51
turboderp-org/exllamav2

Una biblioteca de inferencia rápida para ejecutar LLM localmente en GPU modernas de clase de consumo

turboderp-org
⭐ 4,653 Python 👤 turboderp-org Organization 🕐 Actualizado 2026-03-04 📅 Creado 2023-08-30
52
openai/harmony

Renderizador para el formato de respuesta harmony que se utilizará con gpt-oss

openai
⭐ 4,548 Rust 👤 openai Organization 🕐 Actualizado 2026-04-08 📅 Creado 2025-07-31
53
CalvinXKY/InfraTech

Compartir conocimientos de AI Infra y práctica de código: PyTorch, vLLM/SGLang, introducción al marco slime/vime ⚡️, aceleración de rendimiento 🚀, fundamentos de modelos grandes 🧠, software y hardware de IA 🔧, etc.

CalvinXKY
⭐ 4,411 Jupyter Notebook 👤 CalvinXKY User 🕐 Actualizado 2026-09-20 📅 Creado 2025-11-14
54
algorithmicsuperintelligence/optillm

Optimización del proxy de inferencia para LLMs

algorithmicsuperintelligence
⭐ 4,343 Python 👤 algorithmicsuperintelligence Organization 🕐 Actualizado 2026-11-16 📅 Creado 2024-08-22
55
NVIDIA/GenerativeAIExamples

Flujos de trabajo de referencia de IA generativa optimizados para una arquitectura de microservicios e infraestructura acelerada.

NVIDIA
⭐ 4,235 Jupyter Notebook 👤 NVIDIA Organization 🕐 Actualizado 2026-11-06 📅 Creado 2023-10-19
56
raullenchai/Rapid-MLX

Rapid-MLX es un servidor de inferencia de LLM de código abierto (Apache 2.0) para Apple Silicon, compatible con OpenAI y Anthropic, desarrollado sobre MLX y centrado en ofrecer llamadas a herramientas fiables para agentes de programación. Hasta 4 veces más rápido que MLX (mlx-lm) de Apple con los mismos pesos.

raullenchai
⭐ 4,168 Python 👤 raullenchai User 🕐 Actualizado 2026-11-21 📅 Creado 2026-02-25
57
predibase/lorax

Servidor de inferencia Multi-LoRA que escala a miles de LLM afinados

predibase
⭐ 3,836 Python 👤 predibase Organization 🕐 Actualizado 2026-05-28 📅 Creado 2023-10-20
58
hemansnation/AI-Engineer-Headquarters

Una colección de métodos científicos, procesos, algoritmos y sistemas para construir historias y modelos.

hemansnation
⭐ 3,782 Jupyter Notebook 👤 hemansnation User 🕐 Actualizado 2026-10-28 📅 Creado 2022-03-29
59
amitshekhariitbhu/ai-engineering-interview-questions

Tu hoja de trucos para la entrevista de ingeniería de IA – Preguntas y respuestas.

amitshekhariitbhu
⭐ 3,707 Markdown 👤 amitshekhariitbhu User 🕐 Actualizado 2026-11-21 📅 Creado 2026-03-21
60
xjdr-alt/entropix

Muestreo basado en entropía y decodificación CoT paralela

xjdr-alt
⭐ 3,434 Python 👤 xjdr-alt User 🕐 Actualizado 2024-11-13 📅 Creado 2024-10-03
61
ikawrakow/ik_llama.cpp

Fork de llama.cpp con cuantificaciones SOTA adicionales y rendimiento mejorado

ikawrakow
⭐ 3,411 C++ 👤 ikawrakow User 🕐 Actualizado 2026-11-21 📅 Creado 2024-06-27
⭐ 3,377 Python 👤 danielgross User 🕐 Actualizado 2024-02-25 📅 Creado 2023-10-01
63
b4rtaz/distributed-llama

Inferencia de LLM distribuida. Conecte dispositivos domésticos en un clúster potente para acelerar la inferencia de LLM. Más dispositivos significan una inferencia más rápida.

b4rtaz
⭐ 3,141 C++ 👤 b4rtaz User 🕐 Actualizado 2026-11-17 📅 Creado 2023-12-04
64
mw00/project-maya

Ejecuta GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) y Hy4-Flash (220B) en tus propias GPU: desde 8 GB de VRAM, compatibles con NVIDIA y AMD, un solo panel de control y una API compatible con OpenAI y Anthropic.

mw00
⭐ 3,140 C++ 👤 mw00 User 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-06
65
spiceai/spiceai

Añada un nodo de análisis en tiempo real a su base de datos operativa. Spice es un motor portátil y acelerado de consultas SQL, búsqueda e inferencia de LLM escrito en Rust para aplicaciones y agentes de IA basados en datos.

spiceai
⭐ 3,132 Rust 👤 spiceai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2021-08-08
66
qwopqwop200/GPTQ-for-LLaMa

Cuantización de LLaMA de 4 bits usando GPTQ

qwopqwop200
⭐ 3,077 Python 👤 qwopqwop200 User 🕐 Actualizado 2024-07-13 📅 Creado 2023-03-06
67
luminal-ai/luminal

Inferencia a la velocidad de la luz.

luminal-ai
⭐ 3,064 Rust 👤 luminal-ai Organization 🕐 Actualizado 2026-11-19 📅 Creado 2023-07-18
69
syv-ai/HyperQwen

Ejecuta modelos Qwen grandes rápidamente en las GPU que realmente tienes. Qwen3.8-27B en una sola tarjeta de 24 GB con vLLM: 127 tok/s para un solo usuario (381 cuando la respuesta cita el prompt), aproximadamente 1.035 tok/s con 64 solicitudes concurrentes y un contexto de 150k–262k. Parches para vLLM, canalización de requantización y benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Actualizado 2026-11-10 📅 Creado 2026-08-15
70
youssofal/MTPLX

La forma más rápida de ejecutar Qwen 3.8 Flash Next, Qwen 3.8 27B y Ternary Bonsai 2 27B en un Mac: 125 tokens/s en OpenCode con un M5 Max, y un modelo 27B en Macs con 16 GB. Decodificación especulativa MTP nativa en Apple Silicon, exacta con cualquier temperatura. Servidor local compatible con OpenAI y Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Actualizado 2026-11-21 📅 Creado 2026-05-02
71
vllm-project/production-stack

El sistema de referencia de vLLM para el despliegue nativo de K8S en todo el clúster con optimización de rendimiento impulsada por la comunidad

vllm-project
⭐ 2,729 Python 👤 vllm-project Organization 🕐 Actualizado 2026-11-07 📅 Creado 2025-01-21
72
FasterDecoding/Medusa

Medusa: Un marco simple para acelerar la generación de LLM con múltiples cabezales de decodificación

FasterDecoding
⭐ 2,684 Jupyter Notebook 👤 FasterDecoding Organization 🕐 Actualizado 2024-06-25 📅 Creado 2023-09-10
73
mirage-project/mirage

Mirage Persistent Kernel: Compilación de LLM en un MegaKernel

mirage-project
⭐ 2,625 Cuda 👤 mirage-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-05-08
74
incoai/splash

Un motor de inferencia local para Apple Silicon, creado en torno al modelo.

incoai
⭐ 2,591 C++ 👤 incoai Organization 🕐 Actualizado 2026-11-17 📅 Creado 2026-09-18
75
Nano-Collective/nanocoder

Un agente de programación abierto para tu terminal, construido por un colectivo comunitario en lugar de una empresa. Trae tu propio modelo, mantén tu código en tu máquina y no le debas nada a nadie.

Nano-Collective
⭐ 2,582 TypeScript 👤 Nano-Collective Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-07-30
76
SafeAILab/EAGLE

Implementación oficial de EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) y EAGLE-3 (NeurIPS'25).

SafeAILab
⭐ 2,581 Python 👤 SafeAILab Organization 🕐 Actualizado 2026-02-20 📅 Creado 2023-12-07
77
databricks/dbrx

Ejemplos de código y recursos para DBRX, un modelo de lenguaje grande desarrollado por Databricks

databricks
⭐ 2,578 Python 👤 databricks Organization 🕐 Actualizado 2024-05-01 📅 Creado 2024-03-26
78
Jittor/JittorLLMs

La biblioteca de inferencia de modelos grandes de Jito se caracteriza por su alto rendimiento, bajos requisitos de configuración, buen soporte para chino y portabilidad.

Jittor
⭐ 2,419 Python 👤 Jittor User 🕐 Actualizado 2025-02-22 📅 Creado 2023-04-02
79
ashhart/TensorFold

Motor de inferencia de LLM para Metal, CUDA y Vulkan.

ashhart
⭐ 2,364 Zig 👤 ashhart User 🕐 Actualizado 2026-11-21 📅 Creado 2026-06-19
80
datawhalechina/zero-to-sglang

Curso oficial de SGLang x Datawhale sobre inferencia de LLM: comprende la inferencia, construye un mini-SGLang desde cero, luego lee el código fuente real de SGLang y consigue tu primer PR. Disponible en inglés y chino.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Actualizado 2026-11-17 📅 Creado 2026-08-27
82
cfregly/ai-performance-engineering

Código, laboratorios y recursos para O'Reilly AI Systems Performance Engineering: optimización de GPU, entrenamiento distribuido, escalado de inferencia y ajuste de pila completa.

cfregly
⭐ 2,233 Python 👤 cfregly User 🕐 Actualizado 2026-11-19 📅 Creado 2025-04-21
83
neuron-core/neuron-ai

El marco de trabajo de agentes del ecosistema PHP para construir aplicaciones impulsadas por IA listas para producción. Conecte componentes (LLMs, herramientas, bases de datos vectoriales, memoria) a agentes que interactúan con sus datos y su interfaz de usuario.

neuron-core
⭐ 2,179 PHP 👤 neuron-core Organization 🕐 Actualizado 2026-11-20 📅 Creado 2025-03-02
84
pallavi-shekhar/ai-engineering-interview-questions-company-wise

Tu guía rápida para entrevistas de ingeniería de IA en las principales empresas de IA: preguntas y respuestas.

pallavi-shekhar
⭐ 2,098 Markdown 👤 pallavi-shekhar User 🕐 Actualizado 2026-11-21 📅 Creado 2026-09-19
85
microsoft/aici

AICI: Prompts como programas (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Actualizado 2025-01-22 📅 Creado 2023-09-26
86
SemiAnalysisAI/InferenceX

Plataforma de investigación de inferencia de código abierto

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-07-12
87
ovg-project/kvcached

Caché KV elástico virtualizado para el uso compartido dinámico de GPU y más allá

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Actualizado 2026-11-20 📅 Creado 2025-05-27
88
AtomicBot-ai/Atomic-Chat

Aplicación de IA local y motor de inferencia para agentes. Ejecute LLM de pesos abiertos localmente: privado, 100% sin conexión en su computadora. Únase a nuestro Discord: https://discord.com/invite/8wGSsvmg4V

AtomicBot-ai
⭐ 2,040 TypeScript 👤 AtomicBot-ai Organization 🕐 Actualizado 2026-11-19 📅 Creado 2026-03-31
89
kimjammer/Neuro

Una recreación de Neuro-Sama creada originalmente en 7 días.

kimjammer
⭐ 1,960 Python 👤 kimjammer User 🕐 Actualizado 2025-01-17 📅 Creado 2024-01-07
90
liltom-eth/llama2-webui

Ejecute cualquier Llama 2 localmente con la interfaz de usuario de Gradio en GPU o CPU desde cualquier lugar (Linux/Windows/Mac). Use `llama2-wrapper` como su backend local de llama2 para Agentes/Aplicaciones Generativas.

liltom-eth
⭐ 1,954 Jupyter Notebook 👤 liltom-eth User 🕐 Actualizado 2024-03-22 📅 Creado 2023-07-20
91
tile-ai/TileRT

Runtime basado en mosaicos para inferencia de LLM de ultrabaja latencia

tile-ai
⭐ 1,906 Python 👤 tile-ai Organization 🕐 Actualizado 2026-09-24 📅 Creado 2025-11-12
92
XiongjieDai/GPU-Benchmarks-on-LLM-Inference

¿Múltiples GPU NVIDIA o Apple Silicon para la inferencia de modelos de lenguaje grandes?

XiongjieDai
⭐ 1,862 Jupyter Notebook 👤 XiongjieDai User 🕐 Actualizado 2024-05-13 📅 Creado 2023-07-19
93
beam-cloud/beta9

Inferencia GPU serverless ultrarrápida, sandboxes y trabajos en segundo plano

beam-cloud
⭐ 1,858 Go 👤 beam-cloud Organization 🕐 Actualizado 2026-11-20 📅 Creado 2023-11-15
94
turboderp-org/exllamav3

Una biblioteca optimizada de cuantización e inferencia para ejecutar LLM localmente en GPU de consumo modernas

turboderp-org
⭐ 1,853 Python 👤 turboderp-org Organization 🕐 Actualizado 2026-11-19 📅 Creado 2025-04-06
95
vllm-project/guidellm

Evalúe y mejore sus implementaciones de LLM para necesidades de inferencia en el mundo real

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-05-29
96
software-mansion/react-native-executorch

Biblioteca de inferencia de IA en el dispositivo para React Native, de alto rendimiento y con la privacidad como prioridad, impulsada por el runtime ExecuTorch de PyTorch

software-mansion
⭐ 1,794 TypeScript 👤 software-mansion Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-10-16
97
janhq/awesome-local-ai

Un impresionante repositorio de herramientas de IA locales

janhq
⭐ 1,791 👤 janhq Organization 🕐 Actualizado 2024-11-13 📅 Creado 2023-09-06
99
LlamaEdge/LlamaEdge

La forma más fácil y rápida de ejecutar LLM personalizados y ajustados localmente o en el borde

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Actualizado 2026-02-08 📅 Creado 2023-10-09
100
Nutlope/turboseek

Un motor de búsqueda de IA inspirado en Perplexity

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 Actualizado 2026-10-23 📅 Creado 2024-05-26