#llm-inference Dépôts
202 dépôts au total
Une bibliothèque d'inférence rapide pour exécuter des LLM localement sur des GPU modernes de classe consommateur
Partage de connaissances AI Infra et pratique de code : PyTorch, vLLM/SGLang, introduction au framework slime/vime ⚡️, accélération des performances 🚀, bases des grands modèles 🧠, logiciels et matériels IA 🔧, etc.
Flux de travail de référence d'IA générative optimisés pour une architecture de microservices et une infrastructure accélérées.
Rapid-MLX est un serveur d’inférence LLM open source (Apache 2.0) pour Apple Silicon, compatible avec OpenAI et Anthropic, basé sur MLX et axé sur des appels d’outils fiables pour les agents de programmation. Jusqu’à 4 fois plus rapide que MLX (mlx-lm) d’Apple avec les mêmes poids.
Une collection de méthodes scientifiques, de processus, d'algorithmes et de systèmes pour construire des histoires et des modèles.
Votre fiche de révision pour l'entretien d'embauche en ingénierie IA – Questions et réponses.
Fork de llama.cpp avec des quants SOTA supplémentaires et des performances améliorées
Inférence LLM distribuée. Connectez les appareils domestiques en un cluster puissant pour accélérer l'inférence LLM. Plus d'appareils signifie une inférence plus rapide.
Exécutez GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) et Hy4-Flash (220B) sur vos propres GPU — à partir de 8 Go de VRAM, avec prise en charge de NVIDIA et AMD, un tableau de bord unique et une API compatible avec OpenAI et Anthropic.
Ajoutez un nœud d'analyse en temps réel à votre base de données opérationnelle. Spice est un moteur portable et accéléré de requêtes SQL, de recherche et d'inférence LLM écrit en Rust pour les applications et agents d'IA basés sur des données.
Exécutez rapidement de grands modèles Qwen sur les GPU que vous possédez réellement. Qwen3.8-27B sur une seule carte de 24 Go avec vLLM : 127 tok/s pour un seul utilisateur (381 lorsque la réponse cite le prompt), environ 1 035 tok/s avec 64 requêtes simultanées, et un contexte de 150k à 262k. Correctifs vLLM, pipeline de re-quantification et benchmarks.
La manière la plus rapide d’exécuter Qwen 3.8 Flash Next, Qwen 3.8 27B et Ternary Bonsai 2 27B sur un Mac : 125 tokens/s dans OpenCode avec un M5 Max, et un modèle 27B sur les Mac dotés de 16 Go. Décodage spéculatif MTP natif sur Apple Silicon, exact à n’importe quelle température. Serveur local compatible avec OpenAI et Anthropic.
Le système de référence de vLLM pour le déploiement natif K8S à l'échelle du cluster avec optimisation des performances dirigée par la communauté
Medusa : Un framework simple pour accélérer la génération LLM avec plusieurs têtes de décodage
Un agent de programmation open source pour votre terminal, créé par un collectif communautaire plutôt que par une entreprise. Utilisez votre propre modèle, gardez votre code sur votre machine et ne devez rien à personne.
Implémentation officielle de EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) et EAGLE-3 (NeurIPS'25).
Exemples de code et ressources pour DBRX, un grand modèle de langage développé par Databricks
La bibliothèque d'inférence de grand modèle Jito se caractérise par ses hautes performances, ses faibles exigences de configuration, sa bonne prise en charge du chinois et sa portabilité.
Cours officiel SGLang x Datawhale sur l’inférence des LLM : comprenez l’inférence, construisez un mini-SGLang depuis zéro, puis lisez le véritable code source de SGLang et soumettez votre première PR. Disponible en anglais et en chinois.
Code, laboratoires et ressources pour O'Reilly AI Systems Performance Engineering : optimisation GPU, entraînement distribué, mise à l'échelle de l'inférence et réglage full-stack.
Le framework d'agents de l'écosystème PHP pour créer des applications pilotées par l'IA prêtes pour la production. Connectez des composants (LLM, outils, bases de données vectorielles, mémoire) à des agents qui interagissent avec vos données et votre interface utilisateur.
Votre aide-mémoire pour les entretiens d’ingénierie en IA dans les grandes entreprises d’IA : questions et réponses.
Application d'IA locale et moteur d'inférence pour agents. Exécutez des LLM à poids ouverts localement — privé, 100 % hors ligne sur votre ordinateur. Rejoignez notre Discord : https://discord.com/invite/8wGSsvmg4V
Exécutez n'importe quel Llama 2 localement avec l'interface utilisateur Gradio sur GPU ou CPU depuis n'importe où (Linux/Windows/Mac). Utilisez `llama2-wrapper` comme backend llama2 local pour les agents/applications génératifs.
Plusieurs GPU NVIDIA ou Apple Silicon pour l'inférence de grands modèles linguistiques ?
Une bibliothèque optimisée de quantification et d'inférence pour exécuter localement des LLM sur des GPU grand public modernes
Évaluez et améliorez vos déploiements LLM pour les besoins d'inférence dans le monde réel
Bibliothèque d'inférence d'IA sur l'appareil pour React Native, haute performance et axée sur la confidentialité, propulsée par le runtime ExecuTorch de PyTorch
Le moyen le plus simple et le plus rapide d'exécuter des LLM personnalisés et affinés localement ou en périphérie