Git Stars Git Stars

#inference-optimization Repositorios

Descubre 41 repositorios activos de código abierto de GitHub etiquetados con #inference-optimization, que acumulan 86,309 estrellas en total (una media de 2,105 estrellas por proyecto). El líder de este tema es lllyasviel/stable-diffusion-webui-forge, con 12,902 estrellas.

41
Total de Repositorios
86,309
Total de estrellas
2,105
Promedio de Estrellas/Repo

41 repositorios en total

2
THUDM/slime

slime es un marco de entrenamiento de LLM para escalar el aprendizaje por refuerzo.

THUDM
⭐ 8,856 Python 👤 THUDM Organization 🕐 Actualizado 2026-11-05 📅 Creado 2025-06-18
3
deepseek-ai/open-infra-index

Herramientas de infraestructura de IA probadas en producción para el desarrollo eficiente de AGI y la innovación impulsada por la comunidad

deepseek-ai
⭐ 8,007 👤 deepseek-ai Organization 🕐 Actualizado 2025-05-15 📅 Creado 2025-02-21
4
microsoft/LLMLingua

[EMNLP'23, ACL'24] Para acelerar la inferencia de los LLM y mejorar la percepción de información clave de los LLM, comprime el prompt y la KV-Cache, lo que logra hasta 20 veces de compresión con una mínima pérdida de rendimiento.

microsoft
⭐ 6,846 Python 👤 microsoft Organization 🕐 Actualizado 2026-11-09 📅 Creado 2023-07-07
5
QwenLM/Qwen3.8

Qwen3.8 es una serie de modelos de lenguaje de gran escala desarrollada por el equipo de Qwen de Alibaba Group.

QwenLM
⭐ 4,459 👤 QwenLM Organization 🕐 Actualizado 2026-08-17 📅 Creado 2025-09-11
7
syv-ai/HyperQwen

Ejecuta modelos Qwen grandes rápidamente en las GPU que realmente tienes. Qwen3.8-27B en una sola tarjeta de 24 GB con vLLM: 127 tok/s para un solo usuario (381 cuando la respuesta cita el prompt), aproximadamente 1.035 tok/s con 64 solicitudes concurrentes y un contexto de 150k–262k. Parches para vLLM, canalización de requantización y benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Actualizado 2026-11-10 📅 Creado 2026-08-15
8
google/XNNPACK

Operadores de inferencia de redes neuronales de punto flotante de alta eficiencia para dispositivos móviles, servidores y Web

google
⭐ 2,506 C 👤 google Organization 🕐 Actualizado 2026-11-21 📅 Creado 2019-09-13
9
XiaomiMiMo/MiMo

MiMo: Desbloqueando el potencial de razonamiento del modelo de lenguaje: del preentrenamiento al postentrenamiento

XiaomiMiMo
⭐ 2,411 Python 👤 XiaomiMiMo Organization 🕐 Actualizado 2026-10-29 📅 Creado 2025-04-26
10
AmberLJC/LLMSys-PaperList

Lista de Artículos sobre Sistemas de Modelos Lingüísticos Grandes (LLMs)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Actualizado 2026-10-20 📅 Creado 2023-06-06
11
facebookresearch/blt

Código para el artículo de investigación BLT

facebookresearch
⭐ 2,070 Python 👤 facebookresearch Organization 🕐 Actualizado 2025-11-03 📅 Creado 2024-12-09
12
NUS-HPC-AI-Lab/VideoSys

VideoSys: Un sistema fácil y eficiente para la generación de vídeo

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 Actualizado 2025-08-27 📅 Creado 2024-02-17
13
NVIDIA/Stable-Diffusion-WebUI-TensorRT

Extensión TensorRT para Stable Diffusion Web UI

NVIDIA
⭐ 1,994 Python 👤 NVIDIA Organization 🕐 Actualizado 2024-06-14 📅 Creado 2023-10-10
14
ChenyangSi/FreeU

FreeU: Almuerzo Gratis en Diffusion U-Net (CVPR2024 Oral)

ChenyangSi
⭐ 1,892 👤 ChenyangSi User 🕐 Actualizado 2024-12-24 📅 Creado 2023-09-14
15
llmgenai/LLMInterviewQuestions

Este repositorio contiene preguntas de entrevista de LLM (modelo de lenguaje grande) formuladas en empresas importantes como Google, Nvidia, Meta, Microsoft y empresas Fortune 500.

llmgenai
⭐ 1,781 👤 llmgenai User 🕐 Actualizado 2025-02-12 📅 Creado 2024-12-26
16
chengzeyi/Comfy-WaveSpeed

https://wavespeed.ai/ [WIP] La solución de optimización de inferencia todo en uno para ComfyUI, universal, flexible y rápida.

chengzeyi
⭐ 1,235 Python 👤 chengzeyi User 🕐 Actualizado 2026-08-21 📅 Creado 2024-11-27
17
EdjeElectronics/TensorFlow-Object-Detection-on-the-Raspberry-Pi

Un tutorial que muestra cómo configurar la API de detección de objetos de TensorFlow en Raspberry Pi

EdjeElectronics
⭐ 1,156 Python 👤 EdjeElectronics User 🕐 Actualizado 2024-08-10 📅 Creado 2018-06-05
18
gpu-mode/awesomeMLSys

Una lista de incorporación de sistemas ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Actualizado 2026-02-19 📅 Creado 2024-05-06
19
huggingface/search-and-learn

Recetas para escalar la computación en tiempo de inferencia de modelos abiertos

huggingface
⭐ 1,134 Python 👤 huggingface Organization 🕐 Actualizado 2026-09-23 📅 Creado 2024-12-09
21
allenai/OLMoE

OLMoE: Modelos de Lenguaje Abiertos de Mezcla de Expertos

allenai
⭐ 1,087 Jupyter Notebook 👤 allenai Organization 🕐 Actualizado 2025-09-23 📅 Creado 2024-06-22
22
onnx/onnx-mlir

Representación y Reducción de Referencia de Modelos ONNX en la Infraestructura del Compilador MLIR

onnx
⭐ 1,072 MLIR 👤 onnx Organization 🕐 Actualizado 2026-11-13 📅 Creado 2020-02-18
23
mryab/efficient-dl-systems

Materiales del curso de sistemas eficientes de aprendizaje profundo

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 Actualizado 2026-05-28 📅 Creado 2021-12-06
24
hzwer/Practical-RIFE

Un enfoque de interpolación de fotogramas más práctico.

hzwer
⭐ 1,050 Python 👤 hzwer User 🕐 Actualizado 2026-08-27 📅 Creado 2021-06-16
25
daixiangzi/Awesome-Token-Compress

Una lista de artículos sobre algunos trabajos recientes sobre compresión de tokens para Vit y VLM

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 Actualizado 2026-11-13 📅 Creado 2024-09-06
26
FoundationVision/Waver

Modelo de base de video a nivel de industria para la generación unificada de texto a video (T2V) e imagen a video (I2V).

FoundationVision
⭐ 952 👤 FoundationVision Organization 🕐 Actualizado 2025-08-27 📅 Creado 2025-08-05
27
alibaba/BladeDISC

BladeDISC es un proyecto de compilador de forma dinámica de extremo a extremo para cargas de trabajo de aprendizaje automático.

alibaba
⭐ 911 C++ 👤 alibaba Organization 🕐 Actualizado 2024-12-30 📅 Creado 2021-12-20
28
lifeiteng/OmniSenseVoice

Omni SenseVoice: Reconocimiento de voz de alta velocidad con marcas de tiempo de palabras 🗣️🎯

lifeiteng
⭐ 897 Python 👤 lifeiteng User 🕐 Actualizado 2025-12-10 📅 Creado 2024-09-22
29
KohakuBlueleaf/a1111-sd-webui-lycoris

Una extensión para stable-diffusion-webui para cargar modelos lycoris.

KohakuBlueleaf
⭐ 894 Python 👤 KohakuBlueleaf User 🕐 Actualizado 2024-02-16 📅 Creado 2023-04-09
30
aiola-lab/whisper-medusa

Susurrar con cabezas de Medusa

aiola-lab
⭐ 860 Python 👤 aiola-lab Organization 🕐 Actualizado 2026-07-02 📅 Creado 2024-07-17
31
datawhalechina/llm-algo-leetcode

Algoritmos y sistemas de LLM con PyTorch, Triton y CUDA: aprendizaje práctico. «Tutorial de algoritmos y sistemas de LLM»: arquitecturas y entrenamiento de modelos, posentrenamiento, aceleración de inferencia, optimización del rendimiento y de operadores; incluye ejercicios en Notebook, explicaciones de las respuestas, pruebas y experimentos.

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 Actualizado 2026-11-16 📅 Creado 2026-04-01
32
tensorflow/runtime

Un entorno de ejecución modular y de alto rendimiento para TensorFlow

tensorflow
⭐ 754 C++ 👤 tensorflow Organization 🕐 Actualizado 2025-09-04 📅 Creado 2020-04-24
33
IEIT-Yuan/Yuan-2.0

Yuan 2.0 Large Language Model

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Actualizado 2024-07-11 📅 Creado 2023-11-26
34
microsoft/VPTQ

VPTQ, un algoritmo de cuantificación flexible y de bits extremadamente bajos

microsoft
⭐ 683 Python 👤 microsoft Organization 🕐 Actualizado 2026-08-04 📅 Creado 2024-08-13
36
HybridTalentComputing/cline-chinese

Cline versión traducida al chino, Cline es un asistente de programación autónomo que se ejecuta en su IDE y que puede crear/editar archivos, ejecutar comandos, usar el navegador y otras funciones con su permiso.

HybridTalentComputing
⭐ 660 TypeScript 👤 HybridTalentComputing User 🕐 Actualizado 2026-07-14 📅 Creado 2025-02-07
38
HazyResearch/aisys-building-blocks

Bloques de construcción para modelos de cimentación.

HazyResearch
⭐ 587 👤 HazyResearch Organization 🕐 Actualizado 2024-01-03 📅 Creado 2023-11-30
39
brontoguana/krasis

Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos más grandes en hardware de consumo con VRAM limitada

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Actualizado 2026-11-12 📅 Creado 2026-02-09
40
amitshekhariitbhu/llm-inference-engineering

Aprende ingeniería de inferencia de LLM paso a paso: desde la caché KV, PagedAttention y el procesamiento por lotes continuo hasta vLLM, SGLang y las GPU.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 Actualizado 2026-11-09 📅 Creado 2026-08-18
41
YingqingHe/ScaleCrafter

[ICLR 2024 Spotlight] Implementación oficial de ScaleCrafter para la generación visual de mayor resolución en tiempo de inferencia.

YingqingHe
⭐ 508 Python 👤 YingqingHe User 🕐 Actualizado 2024-03-07 📅 Creado 2023-10-07

Preguntas frecuentes

1

¿Cuál es el repositorio de #inference-optimization más popular en GitHub?

El proyecto de código abierto de #inference-optimization mejor posicionado en GitHub es lllyasviel/stable-diffusion-webui-forge, con 12,902 estrellas.

2

¿Qué lenguajes de programación se utilizan más en los repositorios de #inference-optimization?

Entre los proyectos de #inference-optimization mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, C++, C.

3

¿Cómo se calcula la clasificación de los repositorios de #inference-optimization?

Seguimos 41 repositorios activos de código abierto etiquetados con #inference-optimization (500+ estrellas), que suman un total de 86,309 estrellas, con una media de 2,105 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.