#mlops Dépôts
227 dépôts au total
Résumés et ressources pour le livre "Designing Machine Learning Systems" (Chip Huyen, O'Reilly 2022)
Le guide pratique des LLM : Des bases au déploiement d'applications LLM et RAG avancées sur AWS en utilisant les meilleures pratiques LLMOps
PyTorch Lightning + Hydra. Un modèle très convivial pour l'expérimentation ML. ⚡🔥⚡
Superduper : Framework de bout en bout pour la création d'applications et d'agents IA personnalisés.
Argilla est un outil de collaboration permettant aux ingénieurs IA et aux experts du domaine de construire des ensembles de données de haute qualité
Composants d'infrastructure économiques et enfichables pour l'inférence GenAI
cube studio Plateforme IA Open-Source Cloud Native Tout-en-un pour Machine Learning/Deep Learning/Grands Modèles, Flux complet du pipeline d'algorithmes MLOps, Plateforme de location de puissance de calcul, Développement en ligne Notebook, Orchestration de pipeline de flux de tâches par glisser-déposer, Entraînement distribué multi-machines multi-GPU, Recherche d'hyperparamètres, Virtualisation VGPU du service d'inférence, Edge Computing, Annotation automatisée de la plateforme d'annotation, Ajustement fin SFT de grands modèles/Modèle de récompense/Entraînement par apprentissage par renforcement de Deepseek, Inférence multi-machines de grands modèles tels que vLLM/Ollama/MindSpore, Base de connaissances privée, Marché de modèles IA, Support pour l'écosystème CPU/GPU/NPU Ascend domestiques, Support RDMA, Support pour les frameworks distribués tels que PyTorch/TF/MXNet/DeepSpeed/Paddle/ColossalAI/Horovod/Ray/Volcano
Liste organisée des meilleurs projets, modèles, outils et infrastructures d'IA véritablement open-source. Mis à jour quotidiennement.
Un framework MLOps pour emballer, déployer, surveiller et gérer des milliers de modèles d'apprentissage automatique en production
🤖 𝗔𝗽𝗽𝗿𝗲𝗻𝗲𝘇 gratuitement comment créer un système 𝗟𝗟𝗠 & 𝗥𝗔𝗚 de qualité production de bout en bout en utilisant les meilleures pratiques 𝗟𝗟𝗠𝗢𝗽𝘀 : ~ 𝘴𝘰𝘶𝘳𝘤𝘦 𝘤𝘰𝘥𝘦 + 12 𝘭𝘦ç𝘰𝘯𝘴 pratiques
⚡️SwanLab - un outil open-source de suivi et de visualisation de l'entraînement IA au design moderne. Prend en charge l'utilisation en Cloud / auto-hébergé. Intégré avec PyTorch / Transformers / verl / LLaMA Factory / ms-swift / Ultralytics / MMEngine / Keras, etc.
Framework RAG (Retrieval Augmented Generation) pour la construction d'applications open source modulaires pour la production par TrueFoundry
FEDML – La bibliothèque ML unifiée et évolutive pour l'entraînement distribué à grande échelle, la mise à disposition de modèles et l'apprentissage fédéré. FEDML Launch, un planificateur inter-cloud, permet en outre d'exécuter n'importe quel travail d'IA sur n'importe quel cloud GPU ou cluster sur site. Basée sur cette bibliothèque, TensorOpera AI (https://TensorOpera.ai) est votre plateforme d'IA générative à grande échelle.
Deepchecks : Tests pour la validation continue des modèles et données ML. Deepchecks est une solution open-source holistique pour tous vos besoins de validation IA et ML, vous permettant de tester minutieusement vos données et modèles, de la recherche à la production.
Synapsa Commons : des cours d’IA gratuits et pratiques, exécutables partout (Colab, Kaggle, Binder, Codespaces, Jupyter). Éléments probants de conformité à la législation européenne sur l’IA, validation des modèles, maintenance prédictive, extraction de documents, recherche et RAG, agents d’IA et MCP, ainsi qu’un humanoïde simulé. Chaque leçon est évaluée automatiquement. Par l’équipe qui développe Synapsa.
Une collection de méthodes scientifiques, de processus, d'algorithmes et de systèmes pour construire des histoires et des modèles.
Serveur d'inférence open source et cluster de production pour tous les modèles dont votre agent a besoin.
IA et apprentissage automatique avec Kubeflow, Amazon EKS et SageMaker
Inspect : Un framework pour l'évaluation des grands modèles de langage
Apprenez à concevoir, développer, déployer et itérer sur des applications ML prêtes pour la production.
Determined est une plateforme open-source d'apprentissage automatique qui simplifie l'entraînement distribué, le réglage des hyperparamètres, le suivi des expériences et la gestion des ressources. Fonctionne avec PyTorch et TensorFlow.
Apprenez à créer votre assistant IA Second Brain avec des LLM, des agents, RAG, le fine-tuning, LLMOps et des techniques de systèmes d'IA.
La couche de contexte pour les données non structurées : jeux de données typés et versionnés sur S3, GCS, Azure
Une bibliothèque open-source de journalisation de données pour les modèles d'apprentissage automatique et les pipelines de données. 📚 Offre une visibilité sur la qualité des données et les performances du modèle au fil du temps. 🛡️ Prend en charge la collecte de données respectueuse de la vie privée, garantissant sécurité et robustesse. 📈
Le système de référence de vLLM pour le déploiement natif K8S à l'échelle du cluster avec optimisation des performances dirigée par la communauté
Apache Hamilton aide les scientifiques des données et les ingénieurs à définir des dataflows testables, modulaires et auto-documentants, qui encodent la lignée/le traçage et les métadonnées. S'exécute et s'adapte partout où python le fait.
CubeStudio est une plateforme open source cloud-native tout-en-un pour l'apprentissage automatique/l'apprentissage profond/les grands modèles d'IA/MaaS/MLOps/plateforme d'intelligence artificielle/plateforme d'entraînement et d'inférence, couvrant le pipeline complet des algorithmes, la multi-location, la plateforme de location de puissance de calcul, le relais de tokens, l'orchestration de pipelines de flux de travail par glisser-déposer, l'entraînement distribué multi-machine multi-carte, la recherche d'hyperparamètres, les services d'inférence, la virtualisation VGPU, la collaboration cloud-edge-device, le calcul en périphérie, la plateforme d'annotation automatisée, le fine-tuning SFT/le modèle de récompense/l'entraînement par apprentissage par renforcement pour les grands modèles comme DeepSeek, l'inférence multi-machine pour les grands modèles avec vLLM/Ollama/MindIE, les agents intelligents LLMOps avec base de connaissances privée, le marché de modèles d'IA, le support pour l'ordonnancement de puissance de calcul hétérogène nationale (Ascend, Cambricon, Hygon, Moore Threads, Muxi, etc.), le support pour IB/RoCE/RDMA et le support Xinchuang.
Créez des applications qui prennent des décisions (chatbots, agents, simulations, etc.). Surveillez, tracez, conservez et exécutez sur votre propre infrastructure.
Une liste organisée de projets et de ressources impressionnants liés à Argo (un projet diplômé de la CNCF)
LUPINE est un pont GPU sur IP permettant d'attacher des GPU de machines distantes à des machines sans GPU.
Effectuer une récupération simple à partir de modèles LLM à différentes longueurs de contexte pour mesurer la précision