#llm-inference Repositorios
Descubre 202 repositorios activos de código abierto de GitHub etiquetados con #llm-inference, que acumulan 1,046,424 estrellas en total (una media de 5,180 estrellas por proyecto). El líder de este tema es deepseek-ai/DeepSeek-V3, con 104,417 estrellas.
202 repositorios en total
GPT4All: Ejecuta LLMs locales en cualquier dispositivo. Código abierto y disponible para uso comercial.
Aplicación de escritorio de código abierto para LLM locales. Texto, visión, llamada a herramientas, API compatible con OpenAI/Anthropic. 100% privada.
Ray es un motor de cómputo de IA. Ray consiste en un runtime distribuido central y un conjunto de bibliotecas de IA para acelerar cargas de trabajo de ML.
Qwen3 es la serie de modelos de lenguaje grandes desarrollada por el equipo Qwen de Alibaba Cloud.
Una galería que muestra casos de uso de ML/GenAI en el dispositivo y permite a las personas probar y utilizar modelos localmente.
Este proyecto tiene como objetivo compartir los principios técnicos y la experiencia práctica relacionados con modelos grandes (ingeniería de modelos grandes, implementación práctica de modelos grandes).
Un marco flexible para experimentar optimizaciones de inferencia/ajuste fino de LLM heterogéneos
Más de 20 LLM de alto rendimiento con recetas para preentrenar, ajustar y desplegar a escala.
Ejecute cualquier LLM de código abierto, como DeepSeek y Llama, como un endpoint API compatible con OpenAI en la nube.
Un modelo Kimi K3 de 2,78 billones de parámetros ejecutando inferencia en una sola CPU con 8,24 GB de RAM. C99 portátil: sin BLAS, sin framework, sin GPU.
OpenVINO™ es un kit de herramientas de código abierto para optimizar y desplegar inferencia de IA.
Servicio de modelos de lenguaje grandes de alta velocidad para implementación local
La forma más fácil de servir aplicaciones y modelos de IA - ¡Construye APIs de inferencia de modelo, colas de trabajos, apps LLM, pipelines multi-modelo y más!
《Comprender en profundidad la infraestructura de IA: análisis cuantitativo y diseño de sistemas》 (por Li Bojie), un manuscrito de libro de código abierto: partiendo de las restricciones del hardware y de las arquitecturas de los modelos, deriva cuantitativamente el diseño de sistemas de inferencia y entrenamiento de LLM. Incluye el texto completo, el PDF, herramientas de cálculo complementarias y experimentos.
Inferencia de Gemma 4 26B-A4B en ~2 GB de RAM en cualquier MacBook con chip serie M
[ICLR 2024] Modelos de Lenguaje Eficientes en Streaming con Sumideros de Atención
Plano es un servidor proxy nativo de IA y un plano de datos para aplicaciones de agentes. Enrutamiento inteligente de LLM, observabilidad, orquestación de agentes y barreras de seguridad para que te centres en la lógica central de tus agentes.
motor de inferencia C++ ligero e independiente para los modelos Gemma de Google.
DeepSeek-Coder-V2: Rompiendo la barrera de los modelos de código cerrado en inteligencia de código
Este es un sencillo proyecto de tutorial técnico科普, centrado principalmente en explicar conceptos y principios tecnológicos interesantes y de vanguardia. Cada artículo se esfuerza por completarse en 5 minutos de lectura.
Lemonade ayuda a los usuarios a descubrir y ejecutar aplicaciones de IA locales sirviendo LLMs optimizados directamente desde sus propias GPUs y NPUs. Únete a nuestro Discord: https://discord.gg/5xXzkMu8Zk
Plataforma de inferencia de IA generativa y predictiva distribuida estandarizada para despliegue escalable y multi-framework en Kubernetes
Generación de texto Transformer simple y eficiente, nativa de Pytorch, en <1000 LOC de Python.
Cuantización de 2 bits, kernels y entorno de ejecución para dispositivos de consumo.
Un gestor de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU bajo demanda accesibles mediante SSH.
⚡ Motor de inferencia WebGPU en Rust puro — Compatible con la API de OpenAI, nativo para GGUF, funciona en cualquier GPU. Sin Python. Sin llama.cpp. Un solo binario.
Biblioteca de inferencia general "plug-and-play" para Modelos de Lenguaje Recursivos (RLM), que soporta varios entornos aislados (sandboxes).
Una implementación compacta de SGLang, diseñada para desmitificar las complejidades de los modernos sistemas de servicio de LLM.
📚Una lista seleccionada de increíbles artículos sobre inferencia LLM/VLM con códigos: Flash-Attention, Paged-Attention, WINT8/4, Paralelismo, etc.🎉
Superduper: Framework de extremo a extremo para la creación de aplicaciones y agentes de IA personalizados.
fastllm es una biblioteca de inferencia de modelos de lenguaje grandes de alto rendimiento que no depende de ningún backend y le ayuda a ejecutar inferencias de forma eficiente en la mayoría de los dispositivos.
DeepSeek-V2: Un modelo de lenguaje de mezcla de expertos fuerte, económico y eficiente
Eko (Eko sigue operando) - Construya flujos de trabajo agentivos listos para producción con lenguaje natural - eko.fellou.ai
RuVector proporciona toma de decisiones y memoria de agentes de alto rendimiento en tiempo real, IA autodidacta y una base de datos GNN vectorial desarrollada en Rust.
Preguntas frecuentes
¿Cuál es el repositorio de #llm-inference más popular en GitHub?
El proyecto de código abierto de #llm-inference mejor posicionado en GitHub es deepseek-ai/DeepSeek-V3, con 104,417 estrellas.
¿Qué lenguajes de programación se utilizan más en los repositorios de #llm-inference?
Entre los proyectos de #llm-inference mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C++, Rust, Go.
¿Cómo se calcula la clasificación de los repositorios de #llm-inference?
Seguimos 202 repositorios activos de código abierto etiquetados con #llm-inference (500+ estrellas), que suman un total de 1,046,424 estrellas, con una media de 5,180 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.