Git Stars Git Stars

#llm-inference Repositorios

202
Total de Repositorios
1.0M
Total de estrellas
5,180
Promedio de Estrellas/Repo

202 repositorios en total

151
nace-ai/kapitsa

Motor de inferencia ultrarrápido para Apple Silicon, optimizado para Qwen y Nemotron. Compatible con las API de OpenAI y Anthropic. Creado por el equipo de nace.ai

nace-ai
⭐ 840 C++ 👤 nace-ai Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-16
152
warpfront/hipfire

Motor de inferencia de LLM nativo de RDNA en Rust.

warpfront
⭐ 826 Rust 👤 warpfront Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-03-21
153
mukel/llama3.java

Inferencia de Llama 3+ en Java puro

mukel
⭐ 818 Java 👤 mukel User 🕐 Actualizado 2026-04-24 📅 Creado 2024-04-25
154
vince-lam/awesome-local-llms

Compare proyectos de LLM locales de código abierto compatibles según sus métricas para evaluar su popularidad y nivel de actividad.

vince-lam
⭐ 816 Python 👤 vince-lam User 🕐 Actualizado 2026-11-16 📅 Creado 2024-02-29
155
ARahim3/kaggle-tpu-lab

Modelos abiertos de nivel frontera en una TPU v5e-8 gratuita de Kaggle: GLM-5.3-Flash 320B MoE (~165 tokens/s, con nuestro propio motor JAX) y Qwen3.8-27B bf16 (~130 tokens/s), contexto de 262k y caché de prefijos. Funciona con Claude Code, Codex, opencode y pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Actualizado 2026-10-06 📅 Creado 2026-08-31
156
tetherto/qvac

SDK de IA local de código abierto: ejecuta IA en el dispositivo sin nube ni claves de API. Compatible con GGUF, RAG, generación de imágenes, música y vídeo, conversión de voz a texto, inferencia P2P y mucho más. Multiplataforma: Linux, macOS, Windows, Android e iOS.

tetherto
⭐ 806 TypeScript 👤 tetherto Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-01-03
157
SimpleBerry/LLaMA-O1

Grandes modelos de razonamiento

SimpleBerry
⭐ 806 Python 👤 SimpleBerry Organization 🕐 Actualizado 2024-12-03 📅 Creado 2024-10-10
158
D-Keqi/mtla

MTLA: Multi-head Temporal Latent Attention

D-Keqi
⭐ 761 Python 👤 D-Keqi User 🕐 Actualizado 2025-10-06 📅 Creado 2025-05-19
159
microsoft/BitBLAS

BitBLAS es una biblioteca para soportar multiplicaciones de matrices de precisión mixta, especialmente para el despliegue de LLM cuantizados.

microsoft
⭐ 751 Python 👤 microsoft Organization 🕐 Actualizado 2025-08-06 📅 Creado 2024-02-23
160
pegainfer-project/pegainfer

Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-02-17
161
ARahim3/mlx-dspark

Decodificación de LLM hasta 4× más rápida en Apple Silicon, sin pérdidas. Port nativo para MLX de la decodificación especulativa DSpark de DeepSeek y DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 y Bonsai-27B ternario.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Actualizado 2026-11-08 📅 Creado 2026-06-29
162
Avarok-Cybersecurity/atlas

Motor de inferencia puro en Rust

Avarok-Cybersecurity
⭐ 737 Rust 👤 Avarok-Cybersecurity Organization 🕐 Actualizado 2026-11-16 📅 Creado 2026-05-05
163
ghimiresunil/LLM-PowerHouse-A-Curated-Guide-for-Large-Language-Models-with-Custom-Training-and-Inferencing

LLM-PowerHouse: Desata el potencial de los LLM a través de tutoriales seleccionados, mejores prácticas y código listo para usar para entrenamiento e inferencia personalizados.

ghimiresunil
⭐ 734 Jupyter Notebook 👤 ghimiresunil User 🕐 Actualizado 2026-03-13 📅 Creado 2023-05-28
164
stoyan-stoyanov/llmflows

LLMFlows – Aplicaciones LLM sencillas, explícitas y transparentes

stoyan-stoyanov
⭐ 706 Python 👤 stoyan-stoyanov User 🕐 Actualizado 2025-02-20 📅 Creado 2023-06-26
165
feifeibear/long-context-attention

USP: Atención Secuencial Unificada (a.k.a. Híbrida, 2D) para el Entrenamiento e Inferencia de Modelos Transformer de Contexto Largo

feifeibear
⭐ 697 Python 👤 feifeibear User 🕐 Actualizado 2026-09-16 📅 Creado 2024-03-27
167
MDK8888/GPTFast

Acelera tus Hugging Face Transformers 7.6-9x. Nativo para Hugging Face y PyTorch.

MDK8888
⭐ 687 Python 👤 MDK8888 User 🕐 Actualizado 2024-08-22 📅 Creado 2024-02-18
168
google-deepmind/recurrentgemma

Modelo de lenguaje de acceso abierto de Google DeepMind, basado en Griffin.

google-deepmind
⭐ 686 Python 👤 google-deepmind Organization 🕐 Actualizado 2026-02-06 📅 Creado 2024-03-25
169
carloslfu/slotstream

Ejecuta un modelo de IA de 105 GB en un Mac que no puede almacenarlo. Qwen3.8-Flash-Next de 4 bits, transmitido desde un SSD en Macs con Apple Silicon y 16–64 GB de memoria. Totalmente nativo en Swift, MLX y Metal. Sin conexión y sin Python. CLI, biblioteca Swift y API de Ollama/OpenAI/Anthropic. Compatible con Claude Code y Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Actualizado 2026-11-17 📅 Creado 2026-08-28
170
run-ai/genv

Entorno de GPU y gestión de clústeres con soporte LLM

run-ai
⭐ 657 Python 👤 run-ai Organization 🕐 Actualizado 2024-05-16 📅 Creado 2022-09-04
172
NightMean/OlliteRT

Convierte tu teléfono Android en un servidor de inferencia de LLM compatible con OpenAI: completamente local, privado y de código abierto

NightMean
⭐ 645 Kotlin 👤 NightMean User 🕐 Actualizado 2026-11-07 📅 Creado 2026-04-06
173
NotPunchnox/rkllama

Alternativa de Ollama para Rockchip NPU: Una solución eficiente para ejecutar modelos de IA y aprendizaje profundo en dispositivos Rockchip con soporte optimizado para NPU (rkllm)

NotPunchnox
⭐ 631 Python 👤 NotPunchnox User 🕐 Actualizado 2026-10-28 📅 Creado 2024-12-30
174
sixgpt/miner

Minería Oficial para SixGPT

sixgpt
⭐ 611 Shell 👤 sixgpt Organization 🕐 Actualizado 2024-12-19 📅 Creado 2024-10-06
175
felladrin/MiniSearch

Plataforma minimalista de búsqueda web con un asistente de IA que se ejecuta directamente desde tu navegador. Demo: https://felladrin-minisearch.hf.space

felladrin
⭐ 611 TypeScript 👤 felladrin User 🕐 Actualizado 2026-11-21 📅 Creado 2023-10-14
176
jaylfc/taOS

Sistema operativo de agentes de IA autohospedado. Tu memoria, chats, agentes y archivos permanecen en el hardware que posees, sin conexión por defecto, en la nube por elección. Incluye memoria de IA sin conexión (taOSmd), chat grupal autohospedado con múltiples marcos, un escritorio web completo + tienda de aplicaciones, y auto-clustering en el hardware de consumo que ya tienes (Orange/Raspberry Pi, Mac mini, PC gaming).

jaylfc
⭐ 609 Python 👤 jaylfc User 🕐 Actualizado 2026-11-20 📅 Creado 2026-04-05
177
andrewkchan/yalm

Otro modelo lingüístico: inferencia LLM en C++/CUDA, sin bibliotecas excepto E/S

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 Actualizado 2025-09-13 📅 Creado 2024-10-02
178
huggingface/swift-chat

Aplicación de Mac para demostrar swift-transformers

huggingface
⭐ 592 Swift 👤 huggingface Organization 🕐 Actualizado 2024-07-29 📅 Creado 2023-05-11
179
zjhellofss/KuiperLLama

Reclutamiento escolar, otoño, primavera, excelentes proyectos de prácticas, te guía para implementar desde cero un framework de inferencia de grandes modelos que soporta Llama2/3 y Qwen2.5.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 Actualizado 2025-10-28 📅 Creado 2024-04-25
180
kacper-daftcode/vLLM-Moet

Modelos MoE de vanguardia en RTX PRO 6000 / RTX 5090 (sm_120): DeepSeek-V4.1-Flash en 4 RTX PRO 6000, como híbrido GPU+CPU en 4 RTX 5090 y expertos de 2 bits en vLLM v0.24.0

kacper-daftcode
⭐ 580 Sass 👤 kacper-daftcode User 🕐 Actualizado 2026-11-18 📅 Creado 2026-06-15
181
SakanaAI/treequest

Una biblioteca de búsqueda en árbol con API flexible para la escalabilidad en tiempo de inferencia de LLM

SakanaAI
⭐ 580 Python 👤 SakanaAI Organization 🕐 Actualizado 2026-11-08 📅 Creado 2025-06-30
182
devflowinc/uzi

CLI para ejecutar una gran cantidad de agentes de codificación en paralelo con worktrees de git

devflowinc
⭐ 579 Go 👤 devflowinc Organization 🕐 Actualizado 2025-06-04 📅 Creado 2025-05-27
183
rohan-paul/LLM-FineTuning-Large-Language-Models

Ajuste Fino de LLM (Large Language Model)

rohan-paul
⭐ 574 Jupyter Notebook 👤 rohan-paul User 🕐 Actualizado 2025-04-01 📅 Creado 2023-10-22
184
StartLuxLabs/StartLux-Prism

Inferencia rápida y exacta para los modelos StartLux-Decision en GPU NVIDIA: los archivos GGUF publicados se ejecutan en núcleos tensoriales int8 y de 4 bits a través de la API /v1/systemone, con hasta 5,3 veces menos latencia que vLLM en FP8 y respuestas idénticas bit a bit.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Actualizado 2026-10-27 📅 Creado 2026-10-13
185
yassa9/qwen600

Motor de inferencia mini CUDA-only qwen3-0.6B de lote único, estático y minimalista

yassa9
⭐ 559 Cuda 👤 yassa9 User 🕐 Actualizado 2025-09-08 📅 Creado 2025-09-06
186
01-ai/Yi-1.5

Yi-1.5 es una versión mejorada de Yi, que ofrece un rendimiento más sólido en codificación, matemáticas, razonamiento y capacidad de seguimiento de instrucciones.

01-ai
⭐ 557 👤 01-ai Organization 🕐 Actualizado 2024-11-11 📅 Creado 2024-05-10
189
Noeda/rllama

Implementación del código de inferencia LLaMA con Rust+OpenCL+AVX2

Noeda
⭐ 551 Rust 👤 Noeda User 🕐 Actualizado 2024-02-12 📅 Creado 2023-03-11
190
OmniJev/Flide

🔥🔥 El motor de inferencia ultrarrápido para modelos de decisión

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-24
191
Indras-Mirror/Xolotl

Xolotl: ejecuta DeepSeek-V4.1-Flash, con sus 552B parámetros completos, como agente de programación local en un solo PC gaming (RTX 4090 + 110 GB de RAM): ~33 tok/s como agente, ~41 en modo rápido y contexto de 512K. Además, Inkling-2-Mini (Thinking Machines, motor propio + generador de borradores MTP), GLM-5.3-Flash, Qwen3.8 y LFM3-Omni. Expertos MoE distribuidos por niveles entre la VRAM, la RAM y NVMe (Xolotl Direct). API de OpenAI + Anthropic.

Indras-Mirror
⭐ 549 C++ 👤 Indras-Mirror User 🕐 Actualizado 2026-11-21 📅 Creado 2026-10-06
192
mit-han-lab/duo-attention

[ICLR 2025] DuoAttention: Inferencia eficiente de LLM de contexto largo con cabezales de recuperación y transmisión

mit-han-lab
⭐ 541 Python 👤 mit-han-lab Organization 🕐 Actualizado 2025-02-10 📅 Creado 2024-10-15
193
microsoft/sarathi-serve

Un motor de servicio de baja latencia y alto rendimiento para LLM

microsoft
⭐ 539 Python 👤 microsoft Organization 🕐 Actualizado 2026-11-17 📅 Creado 2023-11-02
194
v-modal/awesome-jev-tools

Una lista cuidadosamente seleccionada de herramientas creadas para Jev, el modelo System One de TypeSafe AI para decisiones tipadas.

v-modal
⭐ 537 👤 v-modal Organization 🕐 Actualizado 2026-11-15 📅 Creado 2026-09-19
195
brontoguana/krasis

Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos más grandes en hardware de consumo con VRAM limitada

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Actualizado 2026-11-12 📅 Creado 2026-02-09
196
ome-projects/ome

Open Model Engine (OME): operador de Kubernetes para la prestación de servicios de LLM, la programación de GPU y la gestión del ciclo de vida de los modelos. Compatible con SGLang, vLLM, TensorRT-LLM y Triton

ome-projects
⭐ 529 Go 👤 ome-projects Organization 🕐 Actualizado 2026-11-21 📅 Creado 2025-05-19
197
amitshekhariitbhu/llm-inference-engineering

Aprende ingeniería de inferencia de LLM paso a paso: desde la caché KV, PagedAttention y el procesamiento por lotes continuo hasta vLLM, SGLang y las GPU.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 Actualizado 2026-11-09 📅 Creado 2026-08-18
198
huawei-csl/KVarN

KVarN es un backend nativo de vLLM para la cuantización de la caché KV de tus agentes: entre 3 y 5 veces más contexto, un rendimiento superior a FP16 y una precisión de nivel FP16. Sin calibración, un solo indicador.

huawei-csl
⭐ 521 Python 👤 huawei-csl Organization 🕐 Actualizado 2026-06-22 📅 Creado 2026-05-29
199
expectedparrot/edsl

Diseña, realiza y analiza los resultados de encuestas y experimentos impulsados por IA. Simula investigaciones de ciencias sociales y estudios de mercado con grandes cantidades de agentes de IA y modelos de lenguaje de gran escala.

expectedparrot
⭐ 521 Python 👤 expectedparrot Organization 🕐 Actualizado 2026-11-21 📅 Creado 2024-01-02
200
turboderp-org/exui

Interfaz web para ExLlamaV2

turboderp-org
⭐ 513 JavaScript 👤 turboderp-org Organization 🕐 Actualizado 2025-02-05 📅 Creado 2023-10-29