#vllm Dépôts
134 dépôts au total
Évaluez et améliorez vos déploiements LLM pour les besoins d'inférence dans le monde réel
Modèles de décision ouverts de 0,8B à 27B : une probabilité calibrée pour chaque option en un seul passage, et un bref raisonnement uniquement en cas d’incertitude. Moteur pour vLLM, llama.cpp et MLX.
Efficacité de la quantification après entraînement, précision de la quantification avec entraînement conscient
Serveur d'inférence LLM haute performance compatible OpenAI et Anthropic pour Apple Silicon. MLX natif, traitement par lots continu, modèles multimodaux, appels d'outils MCP et prise en charge de Claude Code.
Transformez n’importe quel LLM en un modèle de décision de type Jev : décisions typées, probabilités réelles, sans entraînement. (Mises à jour continues ; vos signalements de problèmes et demandes de PR sont les bienvenus)
Configurations d’ordinateurs IA open source, des PC de bureau à 2 GPU aux serveurs à 8 GPU : fichiers CAO, nomenclature, BIOS et guides de montage. Procurez-vous le kit de boîtier avec risers PCIe ou demandez-nous une vérification gratuite de compatibilité.
Repo officiel pour l'article « Scaling Synthetic Data Creation with 1,000,000,000 Personas »
Modèles larges inspirés du cerveau à impulsions (spiking), intégrant une attention hybride efficace, des modules MoE et l'encodage par impulsions dans leur architecture
Boîte à outils de quantification (compression) de modèles LLM, avec prise en charge de l’accélération matérielle pour Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, les NPU Huawei Ascend et les processeurs Intel/AMD/Apple via HF, vLLM et SGLang.
Opérateur d'inférence IA pour Kubernetes. Le moyen le plus simple de servir des modèles ML en production. Prend en charge les VLM, LLM, les embeddings et la reconnaissance vocale.
Une feuille de route sur 10 semaines, à raison de 30 minutes par jour, pour le déploiement et l’optimisation de l’inférence des LLM. vLLM, SGLang, quantification, décodage spéculatif et évaluation comparative.
☁️ Passerelle API de niveau entreprise qui vous aide à surveiller et à imposer des limites de coût ou de taux par clé API. Obtenez un contrôle d'accès granulaire et une surveillance par utilisateur, application ou environnement. Prend en charge OpenAI, Azure OpenAI, Anthropic, vLLM et les LLM open-source.
Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version plus petite de vLLM
Kimi-VL : Modèle Vision-Langage Mixture-of-Experts pour le Raisonnement Multimodal, la Compréhension du Long Contexte et de Fortes Capacités d'Agent
Un framework MemAgent extensible à 3,5 millions, ainsi qu'un framework d'entraînement pour l'entraînement RL de tout flux de travail d'agent.
UniRL est un cadre pour l'apprentissage par renforcement de modèles multimodaux unifiés
Un modèle généraliste transparent pour une compréhension holistique vision-langage médicale
Un CLI pour estimer les exigences en mémoire d'inférence des modèles Hugging Face, écrit en Python.
Modèles ouverts de décision multimodale, de 0,8B à 27B, pour le texte, les images et la vidéo. Prenez des décisions en attribuant des probabilités à vos propres candidats et localisez avec des cadres de délimitation, plutôt que de générer du texte. API gratuite, ONNX, GGUF, vLLM et SGLang ; code de fine-tuning inclus.
Série de modèles ouverts Spark-x2.6. Repousser les limites des capacités agentiques des modèles embarqués
Notes sur les LLM, y compris l'inférence de modèle, la structure du modèle Transformer et les notes d'analyse du code de framework LLM.
Un logiciel OCR local, hors ligne (après configuration initiale), portable, capable de traiter des images et des fichiers PDF, utilisant DeepSeek-OCR-2 AI (fonctionnant directement sur votre machine).
Ce dépôt contient des tutoriels et des exemples pour Triton Inference Server
Halo est un framework open source développé par White Circle pour entraîner des modèles de langage de grande taille et des modèles multimodaux
Documentation de bout en bout pour configurer votre propre serveur LLM local et entièrement privé sur Debian. Équipé de chat, de recherche web, de RAG, de gestion de modèles, de serveurs MCP, de génération d'images et de TTS.
Un espace de travail d’analyse de données propulsé par l’IA, conçu pour assurer la transparence, la reproductibilité et le contrôle de l’utilisateur. Examinez le code et les éléments qui étayent les résultats, vérifiez les calculs en les rejouant et choisissez parmi une vaste gamme de modèles, y compris des modèles locaux à poids ouverts.
Étendre OpenRLHF pour prendre en charge l'entraînement LMM RL pour la reproduction de DeepSeek-R1 sur des tâches multimodales.
Tencent Hunyuan A13B (abrégé Hunyuan-A13B), un LLM innovant et open-source construit sur une architecture MoE à grain fin.
Modèles ouverts de niveau frontière sur un TPU v5e-8 gratuit de Kaggle : GLM-5.3-Flash 320B MoE (~165 tok/s, avec notre propre moteur JAX) et Qwen3.8-27B bf16 (~130 tok/s), contexte de 262k et mise en cache des préfixes. Compatible avec Claude Code, Codex, opencode et pi.
Seed-Coder est une famille de LLM open-source légers pour le code, comprenant des modèles de base, d'instruction et de raisonnement, développés par ByteDance Seed.