#inference Dépôts
Découvrez 144 dépôts GitHub open source actifs associés à #inference, cumulant 870,238 étoiles au total (soit une moyenne de 6,043 étoiles par projet). Le projet en tête de ce thème est vllm-project/vllm, avec 97,302 étoiles.
144 dépôts au total
Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire
Ultralytics YOLOv5 dans PyTorch pour la détection d'objets, la segmentation d'instances, la classification, l'entraînement et l'exportation.
DeepSpeed est une bibliothèque d'optimisation pour l'apprentissage profond qui rend l'entraînement distribué et l'inférence simples, efficaces et performants.
SGLang est un framework de service haute performance pour les grands modèles linguistiques et les modèles multimodaux.
Solutions ML multiplateformes et personnalisables pour les médias en direct et en streaming.
ncnn est un framework d'inférence de réseaux de neurones haute performance optimisé pour les plateformes mobiles
FreeToken apporte le déploiement de modèles à l'échelle des centres de données sur votre bureau. Exécutez des modèles massifs localement, rapidement et efficacement.
🎨 La bibliothèque complète de correspondance de motifs pour TypeScript, avec une inférence de type intelligente.
NVIDIA® TensorRT™ est un SDK pour l'inférence en apprentissage profond haute performance sur les GPU NVIDIA. Ce dépôt contient les composants open source de TensorRT.
OpenVINO™ est un kit d'outils open source pour optimiser et déployer l'inférence IA.
Le serveur d'inférence Triton fournit une solution d'inférence optimisée pour le cloud et l'edge.
Exemples de carnets Jupyter 📓 démontrant comment construire, entraîner et déployer des modèles d'apprentissage automatique en utilisant 🧠 Amazon SageMaker.
Inférence de génération de texte de grands modèles linguistiques
Implémentation PyTorch de YOLOv3, YOLOv3-SPP et YOLOv3-tiny pour la détection d'objets en temps réel avec entraînement, validation, inférence et exportation multi-format.
Boîte à outils prête pour la production pour exécuter l'IA localement
Plateforme d’inférence open source pour les modèles de langage, de vision, d’embeddings, de reclassement, d’image, d’audio et de vidéo. Déployez plusieurs moteurs sur du matériel hétérogène, d’un ordinateur portable à un cluster distribué. Servez des modèles via des API compatibles avec OpenAI.
Affinez facilement (SFT/RL), évaluez et déployez Qwen, Gemma ou tout LLM/VLM agentique open source !
Guide Hello AI World pour déployer des réseaux d'inférence deep-learning et des primitives de vision profonde avec TensorRT et NVIDIA Jetson.
Un cadre pour l'inférence de modèle efficace avec des modèles d'omni-modalité
Runtime MLX natif pour les modèles de décision typés de Laya — décisions courtes en 7 à 14 ms sur un M3 Max. Aucune génération de texte, aucun recours à PyTorch ni à une API cloud.
Mooncake est la plateforme de service pour Kimi, un service LLM leader fourni par Moonshot AI.
Une couche de décision ouverte et programmable pour les modèles et le calcul.
Boîte à outils de Robustesse Adversariale (ART) - Bibliothèque Python pour la Sécurité en Apprentissage Automatique - Évasion, Empoisonnement, Extraction, Inférence - Équipes Rouge et Bleue
Un gestionnaire de cluster GPU pour le service de modèles d'IA haute performance (vLLM, SGLang) et des instances GPU accessibles par SSH à la demande.
Des performances d’inférence de pointe avec des accélérateurs modernes sur Kubernetes
Superduper : Framework de bout en bout pour la création d'applications et d'agents IA personnalisés.
cube studio Plateforme IA Open-Source Cloud Native Tout-en-un pour Machine Learning/Deep Learning/Grands Modèles, Flux complet du pipeline d'algorithmes MLOps, Plateforme de location de puissance de calcul, Développement en ligne Notebook, Orchestration de pipeline de flux de tâches par glisser-déposer, Entraînement distribué multi-machines multi-GPU, Recherche d'hyperparamètres, Virtualisation VGPU du service d'inférence, Edge Computing, Annotation automatisée de la plateforme d'annotation, Ajustement fin SFT de grands modèles/Modèle de récompense/Entraînement par apprentissage par renforcement de Deepseek, Inférence multi-machines de grands modèles tels que vLLM/Ollama/MindSpore, Base de connaissances privée, Marché de modèles IA, Support pour l'écosystème CPU/GPU/NPU Ascend domestiques, Support RDMA, Support pour les frameworks distribués tels que PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Un framework unifié d'inférence et de post-entraînement pour la génération vidéo accélérée.
TNN : développé par Tencent Youtu Lab et Guangying Lab, un framework d'inférence d'apprentissage profond unifié pour mobile, bureau et serveur. TNN se distingue par plusieurs caractéristiques exceptionnelles, notamment sa capacité multiplateforme, ses hautes performances, la compression des modèles et l'élagage du code. Basé sur ncnn et Rapidnet, TNN renforce davantage le support et l'optimisation des performances pour les appareils mobiles, et tire également parti des avantages d'une bonne extensibilité et de hautes performances des efforts open source existants.
Modèles et démos d'apprentissage profond pré-entraînés (haute qualité et extrêmement rapides)
N'importe quel modèle. N'importe quel matériel. Zéro compromis. Construit avec @ziglang / @openxla / MLIR / @bazelbuild
Bibliothèque open source d’opérations optimisées d’apprentissage profond (multiplication de matrices, convolution et attention) pour les processeurs (x64, AArch64, RISC-V) et les GPU Intel. Utilisée par PyTorch, TensorFlow, OpenVINO et ONNX Runtime.
CSGHub est une toute nouvelle plateforme open-source pour la gestion des LLM, développée par l'équipe OpenCSG. Elle propose des solutions open-source et sur site/SaaS, avec des fonctionnalités comparables à celles de Hugging Face. Prenez le contrôle total du cycle de vie des LLM, des ensembles de données et des agents, avec une compatibilité SDK Python avec Hugging Face. Rejoignez-nous ! ⭐️
Créez des vidéos sur l’ordinateur que vous possédez déjà. FreeVideo exécute MiniMax H3 avec seulement 8 Go de VRAM et 16 Go de RAM, et adapte son parcours d’accélération à votre matériel.
Kit d'outils d'inférence et de déploiement haute performance pour LLM et VLM basé sur PaddlePaddle
Serveur d'inférence open source et cluster de production pour tous les modèles dont votre agent a besoin.
Accélérez l'inférence et l'entraînement de 🤗 Transformers, Diffusers, TIMM et Sentence Transformers avec des outils d'optimisation matérielle faciles à utiliser
Excellent projet pour le recrutement universitaire, les campagnes d'automne, les campagnes de printemps et les stages ! Nous vous guiderons pas à pas dans l'implémentation d'une bibliothèque d'inférence d'apprentissage profond haute performance, prenant en charge l'inférence de grands modèles tels que llama2, Unet, YoloV5, Resnet, etc. Implémentez pas à pas une bibliothèque d'inférence d'apprentissage profond haute performance.
Foire aux questions
Quel est le dépôt #inference le plus populaire sur GitHub ?
Le projet #inference open source le mieux classé sur GitHub est vllm-project/vllm, avec 97,302 étoiles. Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire
Quels langages de programmation sont les plus utilisés dans les dépôts #inference ?
Parmi les projets #inference les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, TypeScript, Jupyter Notebook.
Comment le classement des dépôts #inference est-il calculé ?
Nous suivons 144 dépôts open source actifs associés à #inference (500+ étoiles), totalisant 870,238 étoiles, avec une moyenne de 6,043 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.