#inference-optimization Repositorios
Descubre 41 repositorios activos de código abierto de GitHub etiquetados con #inference-optimization, que acumulan 86,309 estrellas en total (una media de 2,105 estrellas por proyecto). El líder de este tema es lllyasviel/stable-diffusion-webui-forge, con 12,902 estrellas.
41 repositorios en total
Herramientas de infraestructura de IA probadas en producción para el desarrollo eficiente de AGI y la innovación impulsada por la comunidad
[EMNLP'23, ACL'24] Para acelerar la inferencia de los LLM y mejorar la percepción de información clave de los LLM, comprime el prompt y la KV-Cache, lo que logra hasta 20 veces de compresión con una mínima pérdida de rendimiento.
Qwen3.8 es una serie de modelos de lenguaje de gran escala desarrollada por el equipo de Qwen de Alibaba Group.
Ejecuta modelos Qwen grandes rápidamente en las GPU que realmente tienes. Qwen3.8-27B en una sola tarjeta de 24 GB con vLLM: 127 tok/s para un solo usuario (381 cuando la respuesta cita el prompt), aproximadamente 1.035 tok/s con 64 solicitudes concurrentes y un contexto de 150k–262k. Parches para vLLM, canalización de requantización y benchmarks.
Operadores de inferencia de redes neuronales de punto flotante de alta eficiencia para dispositivos móviles, servidores y Web
MiMo: Desbloqueando el potencial de razonamiento del modelo de lenguaje: del preentrenamiento al postentrenamiento
Lista de Artículos sobre Sistemas de Modelos Lingüísticos Grandes (LLMs)
Este repositorio contiene preguntas de entrevista de LLM (modelo de lenguaje grande) formuladas en empresas importantes como Google, Nvidia, Meta, Microsoft y empresas Fortune 500.
https://wavespeed.ai/ [WIP] La solución de optimización de inferencia todo en uno para ComfyUI, universal, flexible y rápida.
Un tutorial que muestra cómo configurar la API de detección de objetos de TensorFlow en Raspberry Pi
Recetas para escalar la computación en tiempo de inferencia de modelos abiertos
Representación y Reducción de Referencia de Modelos ONNX en la Infraestructura del Compilador MLIR
Una lista de artículos sobre algunos trabajos recientes sobre compresión de tokens para Vit y VLM
Modelo de base de video a nivel de industria para la generación unificada de texto a video (T2V) e imagen a video (I2V).
BladeDISC es un proyecto de compilador de forma dinámica de extremo a extremo para cargas de trabajo de aprendizaje automático.
Omni SenseVoice: Reconocimiento de voz de alta velocidad con marcas de tiempo de palabras 🗣️🎯
Una extensión para stable-diffusion-webui para cargar modelos lycoris.
Algoritmos y sistemas de LLM con PyTorch, Triton y CUDA: aprendizaje práctico. «Tutorial de algoritmos y sistemas de LLM»: arquitecturas y entrenamiento de modelos, posentrenamiento, aceleración de inferencia, optimización del rendimiento y de operadores; incluye ejercicios en Notebook, explicaciones de las respuestas, pruebas y experimentos.
Cline versión traducida al chino, Cline es un asistente de programación autónomo que se ejecuta en su IDE y que puede crear/editar archivos, ejecutar comandos, usar el navegador y otras funciones con su permiso.
Krasis es un entorno de ejecución de LLM híbrido que se centra en la ejecución eficiente de modelos más grandes en hardware de consumo con VRAM limitada
Aprende ingeniería de inferencia de LLM paso a paso: desde la caché KV, PagedAttention y el procesamiento por lotes continuo hasta vLLM, SGLang y las GPU.
[ICLR 2024 Spotlight] Implementación oficial de ScaleCrafter para la generación visual de mayor resolución en tiempo de inferencia.
Preguntas frecuentes
¿Cuál es el repositorio de #inference-optimization más popular en GitHub?
El proyecto de código abierto de #inference-optimization mejor posicionado en GitHub es lllyasviel/stable-diffusion-webui-forge, con 12,902 estrellas.
¿Qué lenguajes de programación se utilizan más en los repositorios de #inference-optimization?
Entre los proyectos de #inference-optimization mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, Jupyter Notebook, C++, C.
¿Cómo se calcula la clasificación de los repositorios de #inference-optimization?
Seguimos 41 repositorios activos de código abierto etiquetados con #inference-optimization (500+ estrellas), que suman un total de 86,309 estrellas, con una media de 2,105 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.