Git Stars Git Stars

#llm-inference Repositorios

202
Total de Repositorios
1.0M
Total de estrellas
5,180
Promedio de Estrellas/Repo

202 repositorios en total

101
AnswerDotAI/rerankers

Una API unificada, ligera y de baja dependencia para usar todos los modelos comunes de reordenación y cross-encoder.

AnswerDotAI
⭐ 1,644 Python 👤 AnswerDotAI Organization 🕐 Actualizado 2025-12-20 📅 Creado 2024-03-06
102
xLLM-AI/xllm

Un motor de inferencia de alto rendimiento para modelos LLM, VLM y DiT, optimizado para diversos aceleradores de IA. Está alojado en la Fundación OpenAtom.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-08-12
103
autonomous-ai/Personal-AI-Computer

Configuraciones de ordenadores de IA de código abierto, desde equipos de sobremesa con 2 GPU hasta servidores con 8 GPU: CAD, lista de materiales, BIOS y guías de montaje. Consigue el kit de caja con risers PCIe o pídenos una comprobación gratuita de compatibilidad.

autonomous-ai
⭐ 1,601 👤 autonomous-ai Organization 🕐 Actualizado 2026-11-05 📅 Creado 2025-08-22
104
mit-han-lab/smoothquant

[ICML 2023] SmoothQuant: Cuantización post-entrenamiento precisa y eficiente para modelos de lenguaje grandes

mit-han-lab
⭐ 1,576 Python 👤 mit-han-lab Organization 🕐 Actualizado 2024-07-12 📅 Creado 2022-11-17
105
jax-ml/scaling-book

Inicio de "How To Scale Your Model", un breve libro de texto estilo blog sobre la escalabilidad de LLM en TPU

jax-ml
⭐ 1,537 SCSS 👤 jax-ml Organization 🕐 Actualizado 2026-10-19 📅 Creado 2025-02-03
106
theroyallab/tabbyAPI

El servidor API oficial para Exllama. Compatible con OAI, ligero y rápido.

theroyallab
⭐ 1,531 Python 👤 theroyallab Organization 🕐 Actualizado 2026-11-14 📅 Creado 2023-11-10
107
felladrin/awesome-ai-web-search

Lista de software que permite buscar en la web con la ayuda de la IA: https://hf.co/spaces/felladrin/awesome-ai-web-search

felladrin
⭐ 1,521 HTML 👤 felladrin User 🕐 Actualizado 2026-11-21 📅 Creado 2024-11-09
108
sauravpanda/BrowserAI

Ejecute LLM locales como llama, deepseek-distill, kokoro y más dentro de su navegador

sauravpanda
⭐ 1,451 TypeScript 👤 sauravpanda User 🕐 Actualizado 2026-07-21 📅 Creado 2025-01-08
110
taielab/awesome-hacking-lists

Una colección curada de herramientas de prueba de penetración de primer nivel y utilidades de productividad en múltiples dominios. ¡Únete a nosotros para explorar, contribuir y mejorar tu kit de herramientas de hacking!

taielab
⭐ 1,404 👤 taielab User 🕐 Actualizado 2025-12-04 📅 Creado 2020-06-12
112
lean-dojo/LeanCopilot

LLM como copilotos para la demostración de teoremas en Lean

lean-dojo
⭐ 1,347 C++ 👤 lean-dojo Organization 🕐 Actualizado 2026-11-16 📅 Creado 2023-09-09
113
hemingkx/SpeculativeDecodingPapers

📰 Artículos y blogs de lectura obligatoria sobre Decodificación Especulativa ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Actualizado 2026-06-27 📅 Creado 2023-09-20
114
aigrantsindia/aigrantsindia

Obtener claves API para hackatones de IA

aigrantsindia
⭐ 1,287 👤 aigrantsindia User 🕐 Actualizado 2025-06-09 📅 Creado 2025-02-22
115
wici-ai/inferssd

Ejecuta modelos que superan la capacidad de tu RAM o VRAM transmitiendo expertos MoE desde un SSD. Basado en llama.cpp.

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 Actualizado 2026-11-20 📅 Creado 2026-10-22
116
patchy631/time-to-first-token

Una hoja de ruta de 10 semanas, dedicando 30 minutos al día, para el servicio y la optimización de inferencia de LLM. vLLM, SGLang, cuantización, decodificación especulativa y evaluación comparativa.

patchy631
⭐ 1,245 HTML 👤 patchy631 User 🕐 Actualizado 2026-08-14 📅 Creado 2026-08-02
117
Azure/AzurePublicDataset

Microsoft Azure Traces

Azure
⭐ 1,231 Jupyter Notebook 👤 Azure Organization 🕐 Actualizado 2026-11-17 📅 Creado 2017-08-18
118
eagle-hq/EAGLE-4

Código oficial de inferencia de EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Actualizado 2026-11-13 📅 Creado 2026-10-20
119
jmaczan/tiny-vllm

Construye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA - una versión más pequeña de vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Actualizado 2026-11-15 📅 Creado 2026-02-09
120
StayLameBro/backburner

Tu iPhone ayuda a tu Mac a ejecutar un modelo de 27B: lectura más rápida de las indicaciones y más contexto mediante un cable USB-C

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Actualizado 2026-11-07 📅 Creado 2026-10-01
121
Tencent/hpc-ops

Biblioteca de Operadores de Inferencia LLM de Alto Rendimiento

Tencent
⭐ 1,193 C++ 👤 Tencent Organization 🕐 Actualizado 2026-11-19 📅 Creado 2026-01-20
122
character-ai/prompt-poet

Agiliza y simplifica el diseño de prompts tanto para desarrolladores como para usuarios no técnicos con un enfoque de bajo código.

character-ai
⭐ 1,160 Python 👤 character-ai Organization 🕐 Actualizado 2026-02-12 📅 Creado 2024-07-17
123
microsoft/onnxruntime-genai

IA generativa con ONNX Runtime

microsoft
⭐ 1,158 C++ 👤 microsoft Organization 🕐 Actualizado 2026-11-17 📅 Creado 2023-11-13
⭐ 1,090 Python 👤 thinking-machines-lab Organization 🕐 Actualizado 2025-11-04 📅 Creado 2025-09-10
125
zhuzilin/ring-flash-attention

Implementación de atención en anillo con flash attention

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Actualizado 2025-09-10 📅 Creado 2024-02-21
126
jondurbin/airoboros

Implementación personalizable del artículo "self-instruct".

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 Actualizado 2024-03-07 📅 Creado 2023-04-29
⭐ 1,041 Python 👤 huggingface Organization 🕐 Actualizado 2026-09-24 📅 Creado 2023-10-06
128
tspeterkim/flash-attention-minimal

Flash Attention en ~100 líneas de CUDA (solo paso hacia adelante)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 Actualizado 2024-12-30 📅 Creado 2024-03-07
⭐ 1,027 Python 👤 microsoft Organization 🕐 Actualizado 2024-01-04 📅 Creado 2023-07-17
132
MoonshotAI/checkpoint-engine

Checkpoint-engine es un middleware simple para actualizar los pesos del modelo en los motores de inferencia de LLM

MoonshotAI
⭐ 1,026 Python 👤 MoonshotAI Organization 🕐 Actualizado 2026-10-22 📅 Creado 2025-09-08
133
shyamsaktawat/OpenAlpha_Evolve

OpenAlpha_Evolve es un framework Python de código abierto inspirado en la innovadora investigación sobre agentes de codificación autónomos como AlphaEvolve de DeepMind.

shyamsaktawat
⭐ 1,021 Python 👤 shyamsaktawat User 🕐 Actualizado 2025-05-31 📅 Creado 2025-05-17
134
tingaicompass/AI-Compass

‘AI-Compass’ guiará a la comunidad en la navegación del océano tecnológico de la IA. Sea que seas principiante o un desarrollador avanzado, encontrarás aquí un camino hacia todas las direcciones principales de la IA. Su objetivo es ayudar a los desarrolladores a comprender de manera sistemática los conceptos fundamentales de la IA, las tecnologías dominantes, las tendencias de vanguardia y, mediante la práctica, dominar todo el proceso desde la teoría hasta la implementación.

tingaicompass
⭐ 1,000 Python 👤 tingaicompass User 🕐 Actualizado 2026-11-20 📅 Creado 2025-05-27
135
likejazz/llama3.np

llama3.np es una implementación pura de NumPy para el modelo Llama 3.

likejazz
⭐ 991 Python 👤 likejazz User 🕐 Actualizado 2025-04-27 📅 Creado 2024-05-13
136
convergence-ai/proxy-lite

Una versión mini, de pesos abiertos, de nuestro asistente Proxy.

convergence-ai
⭐ 989 Python 👤 convergence-ai Organization 🕐 Actualizado 2025-02-26 📅 Creado 2025-02-10
137
feder-cr/jev

jevos: una alternativa de código abierto a Jev y Microsoft-Decision-1. Decisiones de sí o no, opciones y puntuaciones con probabilidades, en la CPU de tu portátil.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 Actualizado 2026-10-18 📅 Creado 2024-08-15
138
dalisoft/awesome-hosting

Lista de hosting genial ordenada por precio del plan mínimo

dalisoft
⭐ 970 👤 dalisoft User 🕐 Actualizado 2026-11-21 📅 Creado 2019-05-31
139
microsoft/T-MAC

Inferencia LLM de pocos bits en CPU/NPU con tabla de consulta

microsoft
⭐ 964 C++ 👤 microsoft Organization 🕐 Actualizado 2025-06-05 📅 Creado 2024-02-02
140
triton-inference-server/tensorrtllm_backend

El backend Triton TensorRT-LLM

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 Actualizado 2026-11-02 📅 Creado 2023-09-12
141
foldl/chatllm.cpp

Implementación pura en C++ de varios modelos para chatear en tiempo real en tu computadora (CPU y GPU)

foldl
⭐ 942 C++ 👤 foldl User 🕐 Actualizado 2026-11-15 📅 Creado 2023-12-02
142
guidance-ai/llguidance

Salidas Estructuradas Super-rápidas

guidance-ai
⭐ 917 Rust 👤 guidance-ai Organization 🕐 Actualizado 2026-11-18 📅 Creado 2024-07-25
143
kubernetes-sigs/lws

LeaderWorkerSet y DisaggregatedSet: API de Kubernetes para la inferencia de IA distribuida y desagregada

kubernetes-sigs
⭐ 909 Go 👤 kubernetes-sigs Organization 🕐 Actualizado 2026-11-20 📅 Creado 2024-02-22
144
zhihu/ZhiLight

Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Actualizado 2026-03-18 📅 Creado 2024-12-06
145
harleyszhang/llm_note

Notas de LLM, incluida la inferencia del modelo, la estructura del modelo Transformer y notas de análisis de código del framework LLM.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Actualizado 2026-08-19 📅 Creado 2024-09-18
148
YassKhazzan/openperplex_backend_os

openperplex es un motor de búsqueda de IA de código abierto

YassKhazzan
⭐ 889 Python 👤 YassKhazzan User 🕐 Actualizado 2024-08-04 📅 Creado 2024-08-03
149
HazyResearch/Megakernels

Kernels, de la variedad mega :)

HazyResearch
⭐ 885 Python 👤 HazyResearch Organization 🕐 Actualizado 2026-05-26 📅 Creado 2025-05-27
150
eastriverlee/LLM.swift

LLM.swift es una biblioteca sencilla y legible que le permite interactuar fácilmente con modelos de lenguaje grandes de forma local para macOS, iOS, watchOS, tvOS y visionOS.

eastriverlee
⭐ 883 Swift 👤 eastriverlee User 🕐 Actualizado 2026-07-19 📅 Creado 2023-12-02