#model-serving Dépôts
Découvrez 51 dépôts GitHub open source actifs associés à #model-serving, cumulant 211,758 étoiles au total (soit une moyenne de 4,152 étoiles par projet). Le projet en tête de ce thème est vllm-project/vllm, avec 97,302 étoiles.
51 dépôts au total
Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire
La manière la plus simple de servir des applications et modèles IA - Créez des API d'inférence de modèles, des files d'attente de tâches, des applications LLM, des pipelines multi-modèles et plus encore !
Un cadre pour l'inférence de modèle efficace avec des modèles d'omni-modalité
Orchestration distribuée et sûre du point de vue des types d’agents, de pipelines de ML et d’inférence en temps réel sur votre k8s — en Python pur avec async/await, ainsi que dans d’autres langages (Rust, Go et TypeScript)
Plateforme d'inférence IA générative et prédictive distribuée standardisée pour un déploiement scalable et multi-framework sur Kubernetes
Dans ce dépôt, je partagerai des notes et références utiles sur le déploiement de modèles basés sur l'apprentissage profond en production.
LightLLM est un framework basé sur Python pour l'inférence et le service des LLM (grands modèles linguistiques), remarquable pour sa conception légère, sa facilité de mise à l'échelle et ses performances à haute vitesse.
🚀 Système Génial pour l'Apprentissage Automatique ⚡️ Articles sur les Systèmes IA et Pratiques Industrielles. ⚡️ Système pour l'Apprentissage Automatique, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys, etc. 🗃️ Llama3, Mistral, etc. 🧑💻 Tutoriels Vidéo.
FEDML – La bibliothèque ML unifiée et évolutive pour l'entraînement distribué à grande échelle, la mise à disposition de modèles et l'apprentissage fédéré. FEDML Launch, un planificateur inter-cloud, permet en outre d'exécuter n'importe quel travail d'IA sur n'importe quel cloud GPU ou cluster sur site. Basée sur cette bibliothèque, TensorOpera AI (https://TensorOpera.ai) est votre plateforme d'IA générative à grande échelle.
OpenLake est un moteur de stockage haute performance pour une inférence LLM et un entraînement GPU efficaces
Framework d'inférence haute performance pour les grands modèles de langage, axé sur l'efficacité, la flexibilité et la disponibilité.
Liste d'articles sur les systèmes de grands modèles linguistiques (LLM)
Environnement d’exécution hautes performances pour le service de systèmes de superintelligence interactifs
MLRun est une plateforme MLOps open source pour construire et gérer rapidement des applications ML continues tout au long de leur cycle de vie. MLRun s'intègre dans votre environnement de développement et CI/CD et automatise la livraison de données de production, de pipelines ML et d'applications en ligne.
Serveur API compatible avec Jev pour les modèles de décision ouverts. Ollama pour les modèles de décision : téléchargez et exécutez localement 29 familles de modèles (Laya, pplx-decider, Clef, Winnow, coba...), ou hébergez-les vous-même derrière /v1/systemone. Le SDK TypeSafe fonctionne sans modification : définissez son URL de base et choisissez un modèle ouvert. CLI, application de bureau, Docker, serveur MCP et benchmark public.
Un outil DevOps open source du CNCF pour empaqueter et versionner des modèles IA/ML, des ensembles de données, du code et des configurations dans un artefact OCI.
RTP-LLM : Le moteur d'inférence LLM haute performance d'Alibaba pour diverses applications.
📰 Articles et blogs incontournables sur le décodage spéculatif ⚡️
Tous les liens, livres et créateurs dont vous avez besoin pour rester à jour avec l’IA !
Un serveur d'inférence scalable pour les modèles optimisés avec OpenVINO™
Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.
Un framework de service de modèle ML haute performance, offre le traitement par lots dynamique et les pipelines CPU/GPU pour exploiter pleinement votre machine de calcul
Code pour le cours en ligne «Déploiement de Modèles d’Apprentissage Automatique»
Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2
Ollama pour les modèles ML classiques. Compilateur AOT qui transforme les modèles XGBoost, LightGBM, scikit-learn, CatBoost et ONNX en code d'inférence natif C99. Une commande pour charger, une commande pour servir. 336x plus rapide que l'inférence Python.
Application squelette FastAPI pour servir des modèles d'apprentissage automatique prêts pour la production.
Meilleures pratiques pour la distillation de grands modèles linguistiques.
Foire aux questions
Quel est le dépôt #model-serving le plus populaire sur GitHub ?
Le projet #model-serving open source le mieux classé sur GitHub est vllm-project/vllm, avec 97,302 étoiles. Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire
Quels langages de programmation sont les plus utilisés dans les dépôts #model-serving ?
Parmi les projets #model-serving les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, Rust, Jupyter Notebook.
Comment le classement des dépôts #model-serving est-il calculé ?
Nous suivons 51 dépôts open source actifs associés à #model-serving (500+ étoiles), totalisant 211,758 étoiles, avec une moyenne de 4,152 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.