#inference Repositorios
144 repositorios en total
Plugin de hardware para vLLM en Huawei Ascend mantenido por la comunidad
CubeStudio es una plataforma de código abierto nativa de la nube integral de aprendizaje automático/aprendizaje profundo/modelos grandes de IA/MaaS/MLOps/plataforma de inteligencia artificial/plataforma de entrenamiento e inferencia, que cubre el flujo completo del algoritmo, multiinquilino, plataforma de alquiler de potencia informática, retransmisión de tokens, orquestación de pipelines de flujo de trabajo mediante arrastrar y soltar, entrenamiento distribuido multi-máquina multi-tarjeta, búsqueda de hiperparámetros, servicios de inferencia, virtualización VGPU, colaboración nube-borde-dispositivo, computación en el borde, plataforma de anotación automatizada, ajuste fino SFT/modelo de recompensa/entrenamiento de aprendizaje por refuerzo para modelos grandes como DeepSeek, inferencia multi-máquina para modelos grandes con vLLM/Ollama/MindIE, agentes inteligentes LLMOps con base de conocimiento privada, mercado de modelos de IA, soporte para programación de potencia informática heterogénea nacional (Ascend, Cambricon, Hygon, Moore Threads, Muxi, etc.), soporte para IB/RoCE/RDMA y soporte para Xinchuang.
Servidor nativo de inferencia de LLM para Apple Silicon. Compatible con las API de OpenAI y Anthropic. Sin Python. Aplicación de macOS con backend en Zig y frontend en Swift, compatible con la generación de chat, música, voz y vídeo.
Operadores de inferencia de redes neuronales de punto flotante de alta eficiencia para dispositivos móviles, servidores y Web
Convierte cualquier ordenador o dispositivo perimetral en un centro de mando para tus proyectos de visión por computadora.
Gestiona el acceso unificado a servicios de IA generativa construidos sobre Envoy Gateway
Una capa de orquestación unificada para computación de IA heterogénea. Estandariza la forma de gestionar los recursos de cómputo y ejecutar tareas de entrenamiento e inferencia en nubes de GPU, Kubernetes, máquinas virtuales o clústeres de servidores físicos.
Ejecuta un LLM de 1 billón de parámetros en una placa de $10 con 256 MB de RAM.
Magenta.js: Generación de música y arte con aprendizaje automático en el navegador
MII hace posible la inferencia de baja latencia y alto rendimiento, impulsada por DeepSpeed.
Entorno de ejecución de alto rendimiento para servir sistemas de superinteligencia interactivos
Modelos de decisión abiertos de 0,8B a 27B: una probabilidad calibrada para cada opción en una sola pasada y un razonamiento breve solo cuando haya incertidumbre. Motor para vLLM, llama.cpp y MLX.
Enrute, administre y analice sus solicitudes de LLM a través de múltiples proveedores con una interfaz API unificada.
Servidor de inferencia CPU/GPU eficiente, escalable y de nivel empresarial para modelos transformer de 🤗 Hugging Face 🚀
El motor de inferencia de LLM de código abierto para AWS Trainium: megakernels NKI, contexto de 1 millón de tokens y API compatible con OpenAI. De RunAnywhere.
Un motor de inferencia de alto rendimiento para modelos LLM, VLM y DiT, optimizado para diversos aceleradores de IA. Está alojado en la Fundación OpenAtom.
DELTA es una plataforma de procesamiento de lenguaje natural y voz basada en aprendizaje profundo. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/
Exportador de GPU NVIDIA para Prometheus mediante el binario nvidia-smi O NVML
un entorno de ejecución rápido y fácil de usar para la inferencia de transformadores (Bert, Albert, GPT2, Decoders, etc.) en CPU y GPU.
Habilidad de agente para optimizar iterativamente la velocidad de servicio de LLM locales (decodificación, decodificación especulativa, prefill, KV, inicio y TTFT) en cualquier hardware y con cualquier cuantización
RTP-LLM: El motor de inferencia LLM de alto rendimiento de Alibaba para diversas aplicaciones.
Implemente un servicio de inferencia de ML con un presupuesto limitado en menos de 10 líneas de código.
Inferencia, ingesta e indexación de alto rendimiento, modulares, seguras en memoria y listas para producción, construidas en Rust 🦀
Qualcomm® AI Hub Models es nuestra colección de modelos de aprendizaje automático de última generación, optimizados para el rendimiento (latencia, memoria, etc.) y listos para ser implementados en dispositivos Qualcomm®.
Paquete para inferencia causal en grafos y en configuraciones por pares. Incluye herramientas para la recuperación de la estructura del grafo y dependencias.
Distribuya y ejecute cargas de trabajo de IA en Kubernetes mágicamente en Python, como PyTorch para la infraestructura de ML.
Construye tu propio motor de inferencia LLM de alto rendimiento en C++ y CUDA - una versión más pequeña de vLLM
Ejecuta, sirve, consulta y edita modelos de IA: un entorno de ejecución de modelos en Rust basado en VINDEX3, un formato de modelo ejecutable e inspeccionable.
Una ruta de lectura sobre ingeniería del rendimiento de CPU, desde una sola instrucción hasta la inferencia en producción. Solo fuentes primarias, con un benchmark ejecutable para cada sección.
Ejecuta Laya, el modelo de toma de decisiones System-1 de código abierto y compatible con Jev, desde Node.js / TypeScript mediante ONNX Runtime
Ejecuta modelos MoE más grandes que tu RAM. MoE de última generación en un teléfono, portátil o dispositivo edge. Sin pérdidas, con llama.cpp sin modificar. Un optimizador de streaming adaptativo. Cualquier hardware, sistema operativo, modelo y cuantización, a través de un servidor local compatible con OpenAI.
MLX Studio: la forma más sencilla de ejecutar LLM en tu Mac. Un motor todo en uno.
Un servidor de inferencia escalable para modelos optimizados con OpenVINO™
Bolt es una biblioteca de aprendizaje profundo con alto rendimiento y flexibilidad heterogénea.