#inference Repositorios
144 repositorios en total
📚 Introducción a la Estadística Moderna - Un libro de texto de código abierto a nivel universitario con un enfoque moderno que destaca las relaciones multivariables y la inferencia basada en simulación.
Una CLI para estimar los requisitos de memoria de inferencia para modelos de Hugging Face, escrita en Python.
Una interfaz uniforme para ejecutar modelos de aprendizaje profundo de múltiples frameworks
No memorices el aprendizaje automático. Compréndelo desde sus primeros principios, incluyendo la inferencia, CUDA, el aprendizaje profundo, la ciencia de datos y el aprendizaje por refuerzo.
PyTriton es una interfaz similar a Flask/FastAPI que simplifica la implementación de Triton en entornos Python.
Remory: aprendizaje de memoria residual para la compresión del contexto
⚡ Servidor de inferencia LLM MLX Swift nativo para Apple Silicon. API compatible con OpenAI, streaming SSD para modelos MoE 100B+, compresión TurboQuant KV cache, app MACOS + iOS iPhone.
Un marco de visión por computadora de código abierto para crear y desplegar aplicaciones en minutos
Motor de inferencia de Machine Learning para Microcontroladores y Dispositivos Empotrados
Herramienta de Productividad con IA – Gratuita y de código abierto, mejora la productividad del usuario y protege la privacidad y la seguridad de los datos. Incluye, entre otros: ChatGPT local exclusivo integrado, DeepSeek, Phi, Qwen y otros modelos, procesamiento inteligente por lotes de imágenes, videos, audio, etc. con un clic.
Paquete de Python pequeño, sin dependencias, rápido para inferir tipos de archivos binarios verificando la firma de números mágicos
Cuadernos de ejemplo para trabajar con SageMaker Studio Lab. ¡Regístrate para obtener una cuenta en el enlace de abajo!
Motor de inferencia LLM puro Rust + CUDA — sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2
Un framework/compilador de aprendizaje profundo eficiente de código abierto, escrito en python.
Simulador preciso, a gran escala y extensible para sistemas de inferencia de LLM
yolort es una pila de tiempo de ejecución para yolov5 en aceleradores especializados como tensorrt, libtorch, onnxruntime, tvm y ncnn.
Intel® AI Reference Models: contiene optimizaciones de Intel para ejecutar cargas de trabajo de aprendizaje profundo en procesadores Intel® Xeon® Scalable e Intel® Data Center GPUs
Privacy Meter: Una biblioteca de código abierto para auditar la privacidad de los datos en algoritmos estadísticos y de aprendizaje automático.
Graph Data Science: una capa de abstracción en Python para construir grafos de conocimiento, integrada con bibliotecas de grafos populares: sobre Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow, etc.
Ollama para modelos ML clásicos. Compilador AOT que convierte modelos XGBoost, LightGBM, scikit-learn, CatBoost y ONNX en código de inferencia nativo C99. Un comando para cargar, un comando para servir. 336x más rápido que la inferencia en Python.
Un motor nativo de inferencia de modelos de lenguaje grande (LLM) y un entorno de ejecución de agentes .NET para modelos GGUF. TensorSharp ofrece una aplicación de consola, una interfaz de chatbot basada en la web, una aplicación para iPhone y API HTTP compatibles con Ollama/OpenAI para el acceso mediante programación. Es compatible con Windows, macOS, iOS y Linux, con capacidades completas de GPU.
¡Entrena un detector de objetos yolov3 de última generación desde cero!
Inferencia de LLM entre pares en el navegador: agrupa tus dispositivos para ejecutar grandes modelos abiertos destinados a agentes de chat y programación.
Un motor de inferencia ONNX ligero, portátil y en C99 puro para dispositivos integrados con soporte de aceleración por hardware.
Deep Learning Streamer (DL Streamer) Pipeline Framework es un marco de análisis de medios de streaming de código abierto, basado en el marco multimedia GStreamer*, para crear complejas canalizaciones de análisis de medios para la Nube o en el Borde (Edge).
Orquestación de tareas GPU sin servidor de alto rendimiento — la capa de programación detrás de wavespeed.ai
Logra el paso de inferencia de llama3 paso a paso, comprende los conceptos centrales, domina la derivación del proceso, implementa el código.
Este repositorio contiene los códigos para LipGAN. LipGAN se publicó como parte del artículo titulado "Towards Automatic Face-to-Face Translation".
Convertir el modelo MMDetection a TensorRT, compatible con fp16, int8, entrada por lotes, forma dinámica, etc.
Arnés de agentes nativo de inferencia para la maximización de tokens en la ingeniería de bucles
sparkrun: inicia, gestiona y detén cargas de trabajo de inferencia de LLM en sistemas NVIDIA DGX Spark. Soporte en vivo: https://discord.com/invite/GH5kRgv6ZD
Librería de Python para detección de objetos pequeños YOLO y segmentación de instancias
Inferencia local para modelos de lenguaje de difusión (LLaDA, Dream), escrita en Mojo
Ejecute sus cargas de trabajo de aprendizaje profundo en Kubernetes de manera más fácil y eficiente.
Triton Model Analyzer es una herramienta CLI para ayudar a comprender mejor los requisitos de cómputo y memoria de los modelos del servidor de inferencia Triton.
Estimación de la pose de objetos 3D mediante aprendizaje profundo y aceleración de NVIDIA
Un sistema de inferencia de alto rendimiento para modelos de lenguaje grandes, diseñado para entornos de producción.