#llm-serving Dépôts
Découvrez 44 dépôts GitHub open source actifs associés à #llm-serving, cumulant 381,346 étoiles au total (soit une moyenne de 8,666 étoiles par projet). Le projet en tête de ce thème est vllm-project/vllm, avec 97,302 étoiles.
44 dépôts au total
Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire
Ray est un moteur de calcul IA. Ray est composé d'un runtime distribué central et d'un ensemble de bibliothèques IA pour accélérer les charges de travail ML.
Une plateforme ouverte pour l'entraînement, le déploiement et l'évaluation de grands modèles linguistiques. Dépôt de publication pour Vicuna et Chatbot Arena.
Ce projet vise à partager les principes techniques et l'expérience pratique liés aux grands modèles (ingénierisation des grands modèles, mise en œuvre pratique des grands modèles).
TensorRT LLM fournit aux utilisateurs une API Python facile à utiliser pour définir des grands modèles linguistiques (LLM) et prend en charge des optimisations de pointe pour effectuer des inférences efficacement sur les GPU NVIDIA. TensorRT LLM contient également des composants pour créer des runtimes Python et C++ qui orchestrent l'exécution de l'inférence de manière performante.
Exécutez n'importe quel LLM open-source, tel que DeepSeek et Llama, en tant qu'endpoint API compatible avec OpenAI dans le cloud.
La plateforme de calcul IA pour les équipes de pointe. SkyPilot transforme le calcul IA fragmenté en un superordinateur IA, permettant aux équipes de pointe de construire plus rapidement une intelligence personnalisée.
La manière la plus simple de servir des applications et modèles IA - Créez des API d'inférence de modèles, des files d'attente de tâches, des applications LLM, des pipelines multi-modèles et plus encore !
《Comprendre en profondeur l’infrastructure de l’IA : analyse quantitative et conception de systèmes》 (de Li Bojie), un manuscrit de livre open source : à partir des contraintes matérielles et de l’architecture des modèles, il déduit quantitativement la conception des systèmes d’inférence et d’entraînement des LLM. Comprend le texte intégral, le PDF, des outils de calcul associés et des expériences.
Un gestionnaire de cluster GPU pour le service de modèles d'IA haute performance (vLLM, SGLang) et des instances GPU accessibles par SSH à la demande.
Une implémentation compacte de SGLang, conçue pour démystifier les complexités des systèmes modernes de service de LLM.
Superduper : Framework de bout en bout pour la création d'applications et d'agents IA personnalisés.
Une liste organisée de ressources sur les grands modèles de langage, couvrant la formation, le déploiement, le fine-tuning des modèles et la création d'applications LLM.
Kit d'outils d'inférence et de déploiement haute performance pour LLM et VLM basé sur PaddlePaddle
Framework d'inférence haute performance pour les grands modèles de langage, axé sur l'efficacité, la flexibilité et la disponibilité.
Excellents articles de recherche et outils pour la compression des LLM.
Le moteur d’inférence LLM open source pour AWS Trainium : méganoyaux NKI, contexte de 1 million de tokens et API compatible avec OpenAI. Par RunAnywhere.
Parallax est un framework de service de modèles distribué qui vous permet de créer votre propre cluster d'IA n'importe où
Inférence locale au comportement comparable à celui d’une API de pointe : Qwen3.8-Flash-Next sur AMD Strix Halo, ainsi que de petits modèles NPU, via les API d’OpenAI et d’Anthropic sur un seul port.
RTP-LLM : Le moteur d'inférence LLM haute performance d'Alibaba pour diverses applications.
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] Pour accélérer l'inférence des LLM à long contexte, des calculs d'attention épars approximatifs et dynamiques réduisent la latence d'inférence jusqu'à 10 fois pour le pré-remplissage sur un A100 tout en maintenant la précision.
Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.
Un framework de service de modèle ML haute performance, offre le traitement par lots dynamique et les pipelines CPU/GPU pour exploiter pleinement votre machine de calcul
Ce dépôt contient des tutoriels et des exemples pour Triton Inference Server
[MLSys'25] QServe : Quantification W4A8KV4 et co-conception de systèmes pour un service LLM efficace ; [MLSys'25] LServe : Service LLM efficace pour les longues séquences avec attention éparse unifiée
♾️ Flotte d'Agents Privés avec Codage Spécifique. Chaque agent obtient son propre bureau accéléré par GPU. Exécutez Claude, Codex, Gemini et modèles ouverts sur une Pile IA Privée Complète ♾️
Modèles ouverts de niveau frontière sur un TPU v5e-8 gratuit de Kaggle : GLM-5.3-Flash 320B MoE (~165 tok/s, avec notre propre moteur JAX) et Qwen3.8-27B bf16 (~130 tok/s), contexte de 262k et mise en cache des préfixes. Compatible avec Claude Code, Codex, opencode et pi.
Boîte à outils de compression de modèles pour les grands modèles linguistiques et les modèles de diffusion
Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2
Foire aux questions
Quel est le dépôt #llm-serving le plus populaire sur GitHub ?
Le projet #llm-serving open source le mieux classé sur GitHub est vllm-project/vllm, avec 97,302 étoiles. Un moteur d'inférence et de service pour LLM à haut débit et efficace en mémoire
Quels langages de programmation sont les plus utilisés dans les dépôts #llm-serving ?
Parmi les projets #llm-serving les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, Rust, C++.
Comment le classement des dépôts #llm-serving est-il calculé ?
Nous suivons 44 dépôts open source actifs associés à #llm-serving (500+ étoiles), totalisant 381,346 étoiles, avec une moyenne de 8,666 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.