#inference-engine Dépôts
Découvrez 40 dépôts GitHub open source actifs associés à #inference-engine, cumulant 102,063 étoiles au total (soit une moyenne de 2,551 étoiles par projet). Le projet en tête de ce thème est huggingface/candle, avec 21,367 étoiles.
40 dépôts au total
✍🏻 Plongées profondes dans le code source, conception de systèmes et blogs d'ingénierie | Halfrost-Field : Notes d'analyse de code source, conception de systèmes et pratique d'ingénierie
Un modèle Kimi K3 de 2 780 milliards de paramètres effectuant une inférence sur un seul CPU avec 8,24 Go de RAM. C99 portable : sans BLAS, sans framework, sans GPU.
FEDML – La bibliothèque ML unifiée et évolutive pour l'entraînement distribué à grande échelle, la mise à disposition de modèles et l'apprentissage fédéré. FEDML Launch, un planificateur inter-cloud, permet en outre d'exécuter n'importe quel travail d'IA sur n'importe quel cloud GPU ou cluster sur site. Basée sur cette bibliothèque, TensorOpera AI (https://TensorOpera.ai) est votre plateforme d'IA générative à grande échelle.
Excellent projet pour le recrutement universitaire, les campagnes d'automne, les campagnes de printemps et les stages ! Nous vous guiderons pas à pas dans l'implémentation d'une bibliothèque d'inférence d'apprentissage profond haute performance, prenant en charge l'inférence de grands modèles tels que llama2, Unet, YoloV5, Resnet, etc. Implémentez pas à pas une bibliothèque d'inférence d'apprentissage profond haute performance.
xDiT: Un moteur d'inférence évolutif pour les Transformers de diffusion (DiT) avec parallélisme massif
La manière la plus rapide d’exécuter Qwen 3.8 Flash Next, Qwen 3.8 27B et Ternary Bonsai 2 27B sur un Mac : 125 tokens/s dans OpenCode avec un M5 Max, et un modèle 27B sur les Mac dotés de 16 Go. Décodage spéculatif MTP natif sur Apple Silicon, exact à n’importe quelle température. Serveur local compatible avec OpenAI et Anthropic.
Cours officiel SGLang x Datawhale sur l’inférence des LLM : comprenez l’inférence, construisez un mini-SGLang depuis zéro, puis lisez le véritable code source de SGLang et soumettez votre première PR. Disponible en anglais et en chinois.
OneDiff : une bibliothèque d'accélération prête à l'emploi pour les modèles de diffusion.
NobodyWho est un moteur d'inférence qui vous permet d'exécuter des LLM localement et efficacement sur n'importe quel appareil.
Un moteur d’inférence haute performance pour les modèles LLM, VLM et DiT, optimisé pour divers accélérateurs d’IA. Il est hébergé par la fondation OpenAtom.
Inférence locale au comportement comparable à celui d’une API de pointe : Qwen3.8-Flash-Next sur AMD Strix Halo, ainsi que de petits modèles NPU, via les API d’OpenAI et d’Anthropic sur un seul port.
Exécutez de grands modèles d’IA sur votre propre PC : Qwen3.8-Flash-Next avec le moteur de Strata, et GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder et MiniCPM-V avec un second moteur conçu pour PolyStrata. Installation en un clic sous Windows et Linux, avec une API OpenAI/Anthropic sur localhost.
Qualcomm® AI Hub Models est notre collection de modèles d'apprentissage automatique de pointe optimisés pour les performances (latence, mémoire, etc.) et prêts à être déployés sur les appareils Qualcomm®.
Implémentation officielle de Gamer : un modèle de fondation généraliste vision-langage-action pour des agents de jeu vidéo en temps réel à long horizon
Paddle.js est un projet web pour Baidu PaddlePaddle, un framework d'apprentissage profond open source s'exécutant dans le navigateur. Paddle.js peut soit charger un modèle pré-entraîné, soit transformer un modèle de paddle-hub avec des outils de transformation de modèle fournis par Paddle.js. Il peut s'exécuter dans tous les navigateurs prenant en charge WebGL/WebGPU/WebAssembly. Il peut également s'exécuter dans Baidu Smartprogram et WX miniprogram.
Exécutez Kimi K3 localement sur CPU avec environ 55 Go de RAM d'exécution mesurée. Un serveur d'inférence Linux à fichier unique propulsé par cPilot Runtime.
MLX Studio - Le moyen le plus simple d’exécuter des LLM sur votre Mac. Un moteur tout-en-un.
Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.
Framework Python pour la vision par ordinateur et l'analyse vidéo avec batteries incluses
[MLSys'25] QServe : Quantification W4A8KV4 et co-conception de systèmes pour un service LLM efficace ; [MLSys'25] LServe : Service LLM efficace pour les longues séquences avec attention éparse unifiée
Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2
Décodage des LLM jusqu’à 4× plus rapide sur Apple Silicon, sans perte. Portage MLX natif du décodage spéculatif DSpark de DeepSeek et DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 et Bonsai-27B ternaire.
37 tok/s avec Qwen3-Next-80B (48 Go) sur un ordinateur portable de 32 Go ; 24 sans spéculation, contre 2,8 avec llama.cpp ; lecture à 62 contre 16 tok/s. Plus rapide que llama.cpp sur les 13 modèles comparés en Q4_K_M. Des LLM plus grands que votre RAM, en C pur, sur CPU ou GPU.
Un moteur natif d’inférence de LLM .NET et un environnement d’exécution d’agents pour les modèles GGUF. TensorSharp fournit une application en ligne de commande, une interface de chatbot web, une application iPhone et des API HTTP compatibles avec Ollama/OpenAI pour un accès programmatique. Il prend en charge Windows, macOS, iOS et Linux avec une prise en charge complète du GPU.
Exécutez un modèle d’IA de 105 Go sur un Mac qui ne peut pas le stocker. Qwen3.8-Flash-Next en 4 bits, chargé en continu depuis un SSD sur les Mac Apple Silicon dotés de 16 à 64 Go de mémoire. Entièrement natif en Swift, MLX et Metal. Hors ligne, sans Python. CLI, bibliothèque Swift et API Ollama/OpenAI/Anthropic. Compatible avec Claude Code et Codex.
Encore un autre modèle linguistique : inférence LLM en C++/CUDA, aucune bibliothèque à l'exception de l'E/S
Une représentation de base commune du code source Python pour pylint et d'autres projets
Projets de recrutement scolaire, automne, printemps, stages excellents, vous guidez pour implémenter de zéro un framework d'inférence de grands modèles supportant Llama2/3 et Qwen2.5.
Inférence rapide et exacte des modèles StartLux-Decision sur GPU NVIDIA : les fichiers GGUF publiés s’exécutent sur des cœurs tensoriels int8 et 4 bits via l’API /v1/systemone, avec une latence jusqu’à 5,3 fois inférieure à celle de vLLM en FP8 et des réponses identiques au bit près.
Du professeur aux tuiles — un moteur de distillation et de service LLM construit de zéro : noyaux Triton/CUDA personnalisés, distillation FSDP, traitement par lots continu avec KV paginé, décodage spéculatif, une passerelle Rust, un oracle JAX et des outils d'interprétabilité.
Moteur d'inférence pour appareils Intel. Servez des modèles LLM, VLM, Whisper, Kokoro-TTS, Embedding et Rerank via des points de terminaison OpenAI.
Exécutez plusieurs agents d’IA en même temps sur votre Mac, jusqu’à 3 fois plus vite.
Krasis est un runtime LLM hybride qui se concentre sur l'exécution efficace de modèles plus volumineux sur du matériel grand public à VRAM limitée
Foire aux questions
Quel est le dépôt #inference-engine le plus populaire sur GitHub ?
Le projet #inference-engine open source le mieux classé sur GitHub est huggingface/candle, avec 21,367 étoiles. Framework ML minimaliste pour Rust
Quels langages de programmation sont les plus utilisés dans les dépôts #inference-engine ?
Parmi les projets #inference-engine les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, Rust, Go.
Comment le classement des dépôts #inference-engine est-il calculé ?
Nous suivons 40 dépôts open source actifs associés à #inference-engine (500+ étoiles), totalisant 102,063 étoiles, avec une moyenne de 2,551 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.