#vllm Dépôts
Découvrez 133 dépôts GitHub open source actifs associés à #vllm, cumulant 554,542 étoiles au total (soit une moyenne de 4,169 étoiles par projet). Le projet en tête de ce thème est earendil-works/pi, avec 123,140 étoiles.
134 dépôts au total
Boîte à outils pour agents IA : API LLM unifiée, boucle d'agent, TUI, CLI d'agent de codage
OCR, analyse de la mise en page, ordre de lecture, reconnaissance des tableaux dans plus de 90 langues
Kit d'outils de reconnaissance vocale open source pour l'entraînement, l'inférence, la ASR en streaming, la VAD, la ponctuation, les pipelines de diarisation des locuteurs et le service compatible OpenAI/MCP.
Bienvenue dans le Cookbook Llama ! Ceci est votre guide de référence pour la création avec Llama : Démarrage avec l'inférence, le fine-tuning et le RAG. Nous vous montrons également comment résoudre des problèmes de bout en bout en utilisant la famille de modèles Llama et en les utilisant sur divers services fournisseurs.
Solution Android dans Docker prenant en charge noVNC, l’enregistrement vidéo, un serveur MCP et un agent IA
Bibliothèque open-source complète de compétences en recherche et ingénierie d'IA pour tout modèle d'IA. Regroupez ces compétences et votre agent claude code/codex/gemini deviendra un agent de recherche IA à pleine puissance. Maintenu par Orchestra Research.
✍🏻 Plongées profondes dans le code source, conception de systèmes et blogs d'ingénierie | Halfrost-Field : Notes d'analyse de code source, conception de systèmes et pratique d'ingénierie
Modèle OCR qui gère les tableaux complexes, les formulaires et l'écriture manuscrite avec une mise en page complète.
Un framework RL agentique facile à utiliser, scalable et haute performance basé sur Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)
Plateforme d’inférence open source pour les modèles de langage, de vision, d’embeddings, de reclassement, d’image, d’audio et de vidéo. Déployez plusieurs moteurs sur du matériel hétérogène, d’un ordinateur portable à un cluster distribué. Servez des modèles via des API compatibles avec OpenAI.
Mooncake est la plateforme de service pour Kimi, un service LLM leader fourni par Moonshot AI.
Une couche de décision ouverte et programmable pour les modèles et le calcul.
Plateforme d'inférence IA générative et prédictive distribuée standardisée pour un déploiement scalable et multi-framework sur Kubernetes
Un gestionnaire de cluster GPU pour le service de modèles d'IA haute performance (vLLM, SGLang) et des instances GPU accessibles par SSH à la demande.
Découvrez les systèmes d’inférence des LLM sur Apple Silicon pour les ingénieurs systèmes : construisez un petit vLLM + Qwen
Un framework MCP low-code pour construire des pipelines RAG complexes et innovants
Search-R1: Un framework d'entraînement RL efficace et évolutif pour le raisonnement et l'appel de moteurs de recherche basé sur LLM entrelacés avec veRL
📚Une liste organisée d'articles impressionnants sur l'inférence LLM/VLM avec codes : Flash-Attention, Paged-Attention, WINT8/4, Parallélisme, etc.🎉
Extraction de données structurées, appel d'instructions et flux de travail agentiques avec ML, LLM et Vision LLM
Notre bibliothèque pour les environnements d'apprentissage par renforcement + évaluations
Partage de connaissances AI Infra et pratique de code : PyTorch, vLLM/SGLang, introduction au framework slime/vime ⚡️, accélération des performances 🚀, bases des grands modèles 🧠, logiciels et matériels IA 🔧, etc.
[NeurIPS'24] HippoRAG est un nouveau framework RAG inspiré par la mémoire à long terme humaine qui permet aux LLM d'intégrer continuellement des connaissances à travers des documents externes. RAG + Knowledge Graphs + Personalized PageRank.
Runtime en cascade pour les agents IA. Optimisez les coûts, la latence, la qualité et les décisions de politique à l'intérieur de la boucle de l'agent.
Kit d'outils d'inférence et de déploiement haute performance pour LLM et VLM basé sur PaddlePaddle
Fondamentaux de l'IA - architecture GPU, programmation CUDA, bases des grands modèles et connaissances liées aux agents IA.
RamaLama est un outil de développement open-source qui simplifie la mise à disposition locale de modèles d'IA provenant de n'importe quelle source et facilite leur utilisation pour l'inférence en production, le tout grâce au langage familier des conteneurs.
Exécutez rapidement de grands modèles Qwen sur les GPU que vous possédez réellement. Qwen3.8-27B sur une seule carte de 24 Go avec vLLM : 127 tok/s pour un seul utilisateur (381 lorsque la réponse cite le prompt), environ 1 035 tok/s avec 64 requêtes simultanées, et un contexte de 150k à 262k. Correctifs vLLM, pipeline de re-quantification et benchmarks.
Le système de référence de vLLM pour le déploiement natif K8S à l'échelle du cluster avec optimisation des performances dirigée par la communauté
CodeGeeX4-ALL-9B, un modèle polyvalent pour tous les scénarios de développement de logiciels d'IA, y compris la complétion de code, l'interpréteur de code, la recherche web, l'appel de fonctions, les questions-réponses au niveau du référentiel et bien plus encore.
Code, laboratoires et ressources pour O'Reilly AI Systems Performance Engineering : optimisation GPU, entraînement distribué, mise à l'échelle de l'inférence et réglage full-stack.
Forcer le format de sortie (schéma JSON, Regex, etc.) d'un modèle linguistique
Foire aux questions
Quel est le dépôt #vllm le plus populaire sur GitHub ?
Le projet #vllm open source le mieux classé sur GitHub est earendil-works/pi, avec 123,140 étoiles. Boîte à outils pour agents IA : API LLM unifiée, boucle d'agent, TUI, CLI d'agent de codage
Quels langages de programmation sont les plus utilisés dans les dépôts #vllm ?
Parmi les projets #vllm les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, Go, TypeScript.
Comment le classement des dépôts #vllm est-il calculé ?
Nous suivons 133 dépôts open source actifs associés à #vllm (500+ étoiles), totalisant 554,542 étoiles, avec une moyenne de 4,169 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.