#inference Dépôts
144 dépôts au total
📚 Introduction à la statistique moderne - Un manuel universitaire en libre accès, avec une approche moderne mettant en évidence les relations multivariées et l'inférence basée sur la simulation.
Un CLI pour estimer les exigences en mémoire d'inférence des modèles Hugging Face, écrit en Python.
Une interface uniforme pour exécuter des modèles d'apprentissage profond provenant de plusieurs frameworks
Ne mémorisez pas le machine learning. Comprenez-le à partir des principes fondamentaux, notamment l’inférence, CUDA, l’apprentissage profond, la science des données et l’apprentissage par renforcement.
Le modèle Bark de Suno AI en C/C++ pour une génération rapide de texte-à-voix
PyTriton est une interface de type Flask/FastAPI qui simplifie le déploiement de Triton dans les environnements Python.
Remory : apprendre une mémoire résiduelle pour compacter le contexte
⚡ Serveur d'inférence LLM MLX Swift natif pour Apple Silicon. API compatible OpenAI, streaming SSD pour modèles MoE 100B+, compression TurboQuant KV cache, app MACOS + iOS iPhone.
Un framework open-source de vision par ordinateur pour créer et déployer des applications en quelques minutes
Moteur d'inférence Machine Learning pour Microcontrôleurs et Dispositifs Embarqués
Outil de Productivité IA – Gratuit et open source, améliore la productivité de l'utilisateur et protège la vie privée et la sécurité des données. Y compris, mais sans s'y limiter : ChatGPT local exclusif intégré, DeepSeek, Phi, Qwen et d'autres modèles, traitement intelligent par lots en un clic d'images, vidéos, audio, etc.
Petit package Python sans dépendances, rapide pour inférer les types de fichiers binaires en vérifiant la signature des nombres magiques
Carnets d'exemples pour travailler avec SageMaker Studio Lab. Inscrivez-vous pour un compte en utilisant le lien ci-dessous !
Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2
Un framework/compilateur open-source efficace pour l'apprentissage profond, écrit en python.
Simulateur précis, à grande échelle et extensible pour les systèmes d'inférence LLM
yolort est une pile d'exécution pour yolov5 sur des accélérateurs spécialisés tels que tensorrt, libtorch, onnxruntime, tvm et ncnn.
Intel® AI Reference Models : contient des optimisations Intel pour exécuter des charges de travail d'apprentissage profond sur les processeurs Intel® Xeon® Scalable et les GPU Intel® Data Center
Privacy Meter : Une bibliothèque open-source pour auditer la confidentialité des données dans les algorithmes statistiques et d'apprentissage automatique.
Graph Data Science : une couche d'abstraction en Python pour la construction de graphes de connaissances, intégrée à des bibliothèques de graphes populaires – au-dessus de Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow, etc.
Ollama pour les modèles ML classiques. Compilateur AOT qui transforme les modèles XGBoost, LightGBM, scikit-learn, CatBoost et ONNX en code d'inférence natif C99. Une commande pour charger, une commande pour servir. 336x plus rapide que l'inférence Python.
Un moteur natif d’inférence de LLM .NET et un environnement d’exécution d’agents pour les modèles GGUF. TensorSharp fournit une application en ligne de commande, une interface de chatbot web, une application iPhone et des API HTTP compatibles avec Ollama/OpenAI pour un accès programmatique. Il prend en charge Windows, macOS, iOS et Linux avec une prise en charge complète du GPU.
Inférence de LLM pair à pair dans le navigateur : mettez vos appareils en commun pour exécuter de grands modèles ouverts destinés aux agents conversationnels et de programmation.
Un moteur d'inférence ONNX léger, portable, en pur C99 pour appareils embarqués avec prise en charge de l'accélération matérielle.
Le Deep Learning Streamer (DL Streamer) Pipeline Framework est un framework open-source d'analyse de médias en streaming, basé sur le framework multimédia GStreamer*, destiné à la création de pipelines complexes d'analyse multimédia pour le Cloud ou en périphérie (Edge).
Orchestration haute performance de tâches GPU serverless — la couche de planification derrière wavespeed.ai
Réalisez l'étape d'inférence de llama3 étape par étape, saisissez les concepts clés, maîtrisez la dérivation du processus, implémentez le code.
Ce dépôt contient les codes pour LipGAN. LipGAN a été publié comme partie d'un article intitulé "Towards Automatic Face-to-Face Translation".
Convertir le modèle MMDetection en TensorRT, prendre en charge fp16, int8, entrées par lots, forme dynamique, etc.
Harnais d’agents natif de l’inférence pour l’optimisation maximale des tokens en ingénierie des boucles
sparkrun — lancez, gérez et arrêtez des charges de travail d’inférence de LLM sur les systèmes NVIDIA DGX Spark. Assistance en direct : https://discord.com/invite/GH5kRgv6ZD
Bibliothèque Python pour la détection de petits objets YOLO et la segmentation d'instances
Inférence locale pour les modèles de langage à diffusion (LLaDA, Dream), écrite en Mojo
Exécutez vos charges de travail d'apprentissage profond sur Kubernetes de manière plus facile et efficace.
Triton Model Analyzer est un outil CLI conçu pour aider à mieux comprendre les exigences de calcul et de mémoire des modèles de Triton Inference Server.
Estimation de la pose d’objets 3D par apprentissage profond, accélérée par NVIDIA
Un système d'inférence haute performance pour les grands modèles de langage, conçu pour les environnements de production.