#inference Repositorios
Descubre 144 repositorios activos de código abierto de GitHub etiquetados con #inference, que acumulan 870,238 estrellas en total (una media de 6,043 estrellas por proyecto). El líder de este tema es vllm-project/vllm, con 97,302 estrellas.
144 repositorios en total
Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria
Ultralytics YOLOv5 en PyTorch para detección de objetos, segmentación de instancias, clasificación, entrenamiento y exportación.
DeepSpeed es una biblioteca de optimización de aprendizaje profundo que hace que el entrenamiento distribuido y la inferencia sean fáciles, eficientes y efectivos.
SGLang es un marco de servicio de alto rendimiento para modelos de lenguaje grandes y modelos multimodales.
Soluciones ML multiplataforma y personalizables para medios en vivo y de streaming.
ncnn es un framework de inferencia de redes neuronales de alto rendimiento optimizado para plataformas móviles
FreeToken lleva el servicio de modelos a escala de centro de datos a tu escritorio. Ejecuta modelos masivos localmente, de forma rápida y eficiente.
🎨 La exhaustiva biblioteca de Coincidencia de Patrones para TypeScript, con inferencia de tipos inteligente.
NVIDIA® TensorRT™ es un SDK para inferencia de aprendizaje profundo de alto rendimiento en GPUs de NVIDIA. Este repositorio contiene los componentes de código abierto de TensorRT.
OpenVINO™ es un kit de herramientas de código abierto para optimizar y desplegar inferencia de IA.
El servidor de inferencia Triton proporciona una solución de inferencia optimizada para la nube y el borde.
Cuadernos de Jupyter 📓 de ejemplo que demuestran cómo construir, entrenar e implementar modelos de aprendizaje automático usando 🧠 Amazon SageMaker.
Inferencia de generación de texto de modelos de lenguaje grandes
Implementación en PyTorch de YOLOv3, YOLOv3-SPP y YOLOv3-tiny para detección de objetos en tiempo real con entrenamiento, validación, inferencia y exportación en múltiples formatos.
Kit de herramientas listo para producción para ejecutar IA localmente
Plataforma de inferencia de código abierto para modelos de lenguaje, visión, embeddings, reranking, imágenes, audio y vídeo. Despliega con varios motores en hardware heterogéneo, desde un portátil hasta un clúster distribuido. Ofrece modelos a través de API compatibles con OpenAI.
¡Ajusta finamente (SFT/RL), evalúa y despliega Qwen, Gemma o cualquier LLM/VLM agéntico de código abierto!
Guía Hello AI World para implementar redes de inferencia de aprendizaje profundo y primitivas de visión profunda con TensorRT y NVIDIA Jetson.
Un marco para la inferencia de modelo eficiente con modelos de omnimodalidad
Entorno de ejecución nativo de MLX para modelos de decisión tipados de Laya: decisiones cortas en 7–14 ms en un M3 Max. Sin generación de texto, PyTorch ni API en la nube.
Mooncake es la plataforma de servicio para Kimi, un servicio líder de LLM proporcionado por Moonshot AI.
Una capa de decisión abierta y programable para modelos y computación.
Caja de Herramientas de Robustez Adversarial (ART) - Biblioteca de Python para la Seguridad en Aprendizaje Automático - Evasión, Envenenamiento, Extracción, Inferencia - Equipos Rojo y Azul
Un gestor de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU bajo demanda accesibles mediante SSH.
Rendimiento de inferencia de última generación con aceleradores modernos en Kubernetes
Superduper: Framework de extremo a extremo para la creación de aplicaciones y agentes de IA personalizados.
cube studio Plataforma de IA todo en uno nativa de la nube, de código abierto, para aprendizaje automático/aprendizaje profundo/modelos grandes, flujo completo de enlaces de algoritmos MLOps, plataforma de alquiler de potencia de cómputo, desarrollo en línea de Notebook, orquestación de pipeline de flujo de tareas de arrastrar y soltar, entrenamiento distribuido multi-máquina multi-GPU, búsqueda de hiperparámetros, virtualización VGPU de servicio de inferencia, computación en el borde, anotación automatizada de la plataforma de anotación, ajuste fino SFT de modelos grandes/Modelo de recompensa/Entrenamiento de aprendizaje por refuerzo de Deepseek, inferencia multi-máquina de modelos grandes como vLLM/Ollama/MindSpore, base de conocimientos privada, mercado de modelos de IA, soporte para el ecosistema Ascend de CPU/GPU/NPU domésticos, soporte RDMA, soporte para frameworks distribuidos como PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Un marco unificado de inferencia y post-entrenamiento para la generación acelerada de videos.
TNN: Desarrollado por Tencent Youtu Lab y Guangying Lab, un framework de inferencia de aprendizaje profundo unificado para móviles, escritorios y servidores. TNN se distingue por varias características sobresalientes, que incluyen su capacidad multiplataforma, alto rendimiento, compresión de modelos y poda de código. Basado en ncnn y Rapidnet, TNN fortalece aún más el soporte y la optimización del rendimiento para dispositivos móviles, y también aprovecha las ventajas de buena extensibilidad y alto rendimiento de los esfuerzos de código abierto existentes.
Modelos y demostraciones de aprendizaje profundo preentrenados (alta calidad y extremadamente rápidos)
Cualquier modelo. Cualquier hardware. Cero compromisos. Construido con @ziglang / @openxla / MLIR / @bazelbuild
Biblioteca de código abierto de operaciones optimizadas de aprendizaje profundo (multiplicación de matrices, convolución y atención) para CPU (x64, AArch64 y RISC-V) y GPU de Intel. Utilizada por PyTorch, TensorFlow, OpenVINO y ONNX Runtime.
CSGHub es una plataforma de código abierto completamente nueva para la gestión de LLM, desarrollada por el equipo de OpenCSG. Ofrece soluciones de código abierto y locales/SaaS, con características comparables a las de Hugging Face. Obtenga control total sobre el ciclo de vida de LLM, conjuntos de datos y agentes, con compatibilidad del SDK de Python con Hugging Face. ¡Únete a nosotros! ⭐️
Crea vídeos en el ordenador que ya tienes. FreeVideo ejecuta MiniMax H3 con tan solo 8 GB de VRAM y 16 GB de RAM, y adapta su ruta de aceleración a tu hardware.
Toolkit de inferencia y despliegue de alto rendimiento para LLM y VLM basado en PaddlePaddle
Servidor de inferencia de código abierto y clúster de producción para todos los modelos que necesita su agente.
Acelera la inferencia y el entrenamiento de 🤗 Transformers, Diffusers, TIMM y Sentence Transformers con herramientas de optimización de hardware fáciles de usar
¡Buen proyecto para el reclutamiento universitario, otoño, primavera y prácticas! Te guiaremos paso a paso para implementar una biblioteca de inferencia de aprendizaje profundo de alto rendimiento, que admita la inferencia de modelos grandes como llama2, Unet, YoloV5, Resnet, etc. Implemente una biblioteca de inferencia de aprendizaje profundo de alto rendimiento paso a paso.
Preguntas frecuentes
¿Cuál es el repositorio de #inference más popular en GitHub?
El proyecto de código abierto de #inference mejor posicionado en GitHub es vllm-project/vllm, con 97,302 estrellas. Un motor de inferencia y servicio para LLM de alto rendimiento y eficiente en memoria
¿Qué lenguajes de programación se utilizan más en los repositorios de #inference?
Entre los proyectos de #inference mejor posicionados en GitHub, los lenguajes de programación más comunes son Python, C++, TypeScript, Jupyter Notebook.
¿Cómo se calcula la clasificación de los repositorios de #inference?
Seguimos 144 repositorios activos de código abierto etiquetados con #inference (500+ estrellas), que suman un total de 870,238 estrellas, con una media de 6,043 estrellas por repositorio. Las clasificaciones se actualizan diariamente a partir de la API de GitHub.