Git Stars Git Stars

#inference-engine Dépôts

Découvrez 40 dépôts GitHub open source actifs associés à #inference-engine, cumulant 102,063 étoiles au total (soit une moyenne de 2,551 étoiles par projet). Le projet en tête de ce thème est huggingface/candle, avec 21,367 étoiles.

40
Total des Dépôts
102,063
Nombre total d'étoiles
2,551
Moyenne d'Étoiles/Dépôt
1
huggingface/candle

Framework ML minimaliste pour Rust

huggingface
⭐ 21,367 Rust 👤 huggingface Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2023-06-19
2
halfrost/Halfrost-Field

✍🏻 Plongées profondes dans le code source, conception de systèmes et blogs d'ingénierie | Halfrost-Field : Notes d'analyse de code source, conception de systèmes et pratique d'ingénierie

halfrost
⭐ 13,259 Go 👤 halfrost User 🕐 Mis à jour 2026-11-10 📅 Créé 2017-04-02
3
FareedKhan-dev/kimi-k3-in-c

Un modèle Kimi K3 de 2 780 milliards de paramètres effectuant une inférence sur un seul CPU avec 8,24 Go de RAM. C99 portable : sans BLAS, sans framework, sans GPU.

FareedKhan-dev
⭐ 12,523 C 👤 FareedKhan-dev User 🕐 Mis à jour 2026-11-16 📅 Créé 2026-08-01
4
bbycroft/llm-viz

Visualisation 3D d'un LLM de style GPT

bbycroft
⭐ 5,599 TypeScript 👤 bbycroft User 🕐 Mis à jour 2026-08-10 📅 Créé 2023-03-01
5
FedML-AI/FedML

FEDML – La bibliothèque ML unifiée et évolutive pour l'entraînement distribué à grande échelle, la mise à disposition de modèles et l'apprentissage fédéré. FEDML Launch, un planificateur inter-cloud, permet en outre d'exécuter n'importe quel travail d'IA sur n'importe quel cloud GPU ou cluster sur site. Basée sur cette bibliothèque, TensorOpera AI (https://TensorOpera.ai) est votre plateforme d'IA générative à grande échelle.

FedML-AI
⭐ 4,068 Python 👤 FedML-AI Organization 🕐 Mis à jour 2026-11-12 📅 Créé 2020-07-21
6
zjhellofss/KuiperInfer

Excellent projet pour le recrutement universitaire, les campagnes d'automne, les campagnes de printemps et les stages ! Nous vous guiderons pas à pas dans l'implémentation d'une bibliothèque d'inférence d'apprentissage profond haute performance, prenant en charge l'inférence de grands modèles tels que llama2, Unet, YoloV5, Resnet, etc. Implémentez pas à pas une bibliothèque d'inférence d'apprentissage profond haute performance.

zjhellofss
⭐ 3,444 C++ 👤 zjhellofss User 🕐 Mis à jour 2025-06-22 📅 Créé 2022-11-21
7
Luce-Org/lucebox

Moteur d’inférence Lucebox pour matériel hétérogène et GPU grand public

Luce-Org
⭐ 3,024 C++ 👤 Luce-Org Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-04-03
8
xdit-project/xDiT

xDiT: Un moteur d'inférence évolutif pour les Transformers de diffusion (DiT) avec parallélisme massif

xdit-project
⭐ 2,755 Python 👤 xdit-project Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-03-19
9
youssofal/MTPLX

La manière la plus rapide d’exécuter Qwen 3.8 Flash Next, Qwen 3.8 27B et Ternary Bonsai 2 27B sur un Mac : 125 tokens/s dans OpenCode avec un M5 Max, et un modèle 27B sur les Mac dotés de 16 Go. Décodage spéculatif MTP natif sur Apple Silicon, exact à n’importe quelle température. Serveur local compatible avec OpenAI et Anthropic.

youssofal
⭐ 2,729 Python 👤 youssofal User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-05-02
10
hyperjumptech/grule-rule-engine

Implémentation d'un moteur de règles en Golang

hyperjumptech
⭐ 2,539 Go 👤 hyperjumptech Organization 🕐 Mis à jour 2026-02-10 📅 Créé 2019-12-13
11
datawhalechina/zero-to-sglang

Cours officiel SGLang x Datawhale sur l’inférence des LLM : comprenez l’inférence, construisez un mini-SGLang depuis zéro, puis lisez le véritable code source de SGLang et soumettez votre première PR. Disponible en anglais et en chinois.

datawhalechina
⭐ 2,306 Python 👤 datawhalechina Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2026-08-27
12
ovg-project/kvcached

Cache KV élastique virtualisé pour le partage dynamique de GPU et au-delà

ovg-project
⭐ 2,051 Python 👤 ovg-project Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2025-05-27
13
siliconflow/onediff

OneDiff : une bibliothèque d'accélération prête à l'emploi pour les modèles de diffusion.

siliconflow
⭐ 1,961 Jupyter Notebook 👤 siliconflow Organization 🕐 Mis à jour 2025-12-04 📅 Créé 2022-09-21
14
dphnAI/sonar

Moteur d'inférence LLM à grande échelle

dphnAI
⭐ 1,911 Python 👤 dphnAI Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2023-06-23
15
nobodywho-ooo/nobodywho

NobodyWho est un moteur d'inférence qui vous permet d'exécuter des LLM localement et efficacement sur n'importe quel appareil.

nobodywho-ooo
⭐ 1,699 Rust 👤 nobodywho-ooo Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2024-09-03
16
xLLM-AI/xllm

Un moteur d’inférence haute performance pour les modèles LLM, VLM et DiT, optimisé pour divers accélérateurs d’IA. Il est hébergé par la fondation OpenAtom.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-08-12
17
peonist-ai/halogen-flash-server

Inférence locale au comportement comparable à celui d’une API de pointe : Qwen3.8-Flash-Next sur AMD Strix Halo, ainsi que de petits modèles NPU, via les API d’OpenAI et d’Anthropic sur un seul port.

peonist-ai
⭐ 1,412 Shell 👤 peonist-ai Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2026-08-26
18
simplexai-labs/PolyStrata

Exécutez de grands modèles d’IA sur votre propre PC : Qwen3.8-Flash-Next avec le moteur de Strata, et GLM 5.3 Flash, DeepSeek V4 Flash, LFM2.5, Qwen3.6, Ornith 1.5, Gemma 4, Tiel Coder et MiniCPM-V avec un second moteur conçu pour PolyStrata. Installation en un clic sous Windows et Linux, avec une API OpenAI/Anthropic sur localhost.

simplexai-labs
⭐ 1,324 C++ 👤 simplexai-labs Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2026-10-06
19
qualcomm/ai-hub-models

Qualcomm® AI Hub Models est notre collection de modèles d'apprentissage automatique de pointe optimisés pour les performances (latence, mémoire, etc.) et prêts à être déployés sur les appareils Qualcomm®.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-12-20
20
RainBowLuoCS/Gamer

Implémentation officielle de Gamer : un modèle de fondation généraliste vision-langage-action pour des agents de jeu vidéo en temps réel à long horizon

RainBowLuoCS
⭐ 1,179 👤 RainBowLuoCS User 🕐 Mis à jour 2026-11-16 📅 Créé 2026-10-30
21
PaddlePaddle/Paddle.js

Paddle.js est un projet web pour Baidu PaddlePaddle, un framework d'apprentissage profond open source s'exécutant dans le navigateur. Paddle.js peut soit charger un modèle pré-entraîné, soit transformer un modèle de paddle-hub avec des outils de transformation de modèle fournis par Paddle.js. Il peut s'exécuter dans tous les navigateurs prenant en charge WebGL/WebGPU/WebAssembly. Il peut également s'exécuter dans Baidu Smartprogram et WX miniprogram.

PaddlePaddle
⭐ 1,071 JavaScript 👤 PaddlePaddle Organization 🕐 Mis à jour 2024-04-03 📅 Créé 2020-03-26
22
wangeai/K3Flight

Exécutez Kimi K3 localement sur CPU avec environ 55 Go de RAM d'exécution mesurée. Un serveur d'inférence Linux à fichier unique propulsé par cPilot Runtime.

wangeai
⭐ 1,019 HTML 👤 wangeai Organization 🕐 Mis à jour 2026-07-31 📅 Créé 2026-07-30
23
jjang-ai/mlxstudio

MLX Studio - Le moyen le plus simple d’exécuter des LLM sur votre Mac. Un moteur tout-en-un.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 Mis à jour 2026-11-07 📅 Créé 2026-03-05
24
zhihu/ZhiLight

Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Mis à jour 2026-03-18 📅 Créé 2024-12-06
25
insight-platform/Savant

Framework Python pour la vision par ordinateur et l'analyse vidéo avec batteries incluses

insight-platform
⭐ 868 Python 👤 insight-platform Organization 🕐 Mis à jour 2026-09-23 📅 Créé 2022-05-07
26
mit-han-lab/omniserve

[MLSys'25] QServe : Quantification W4A8KV4 et co-conception de systèmes pour un service LLM efficace ; [MLSys'25] LServe : Service LLM efficace pour les longues séquences avec attention éparse unifiée

mit-han-lab
⭐ 840 C++ 👤 mit-han-lab Organization 🕐 Mis à jour 2025-03-06 📅 Créé 2024-05-06
27
pegainfer-project/pegainfer

Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2

pegainfer-project
⭐ 748 Rust 👤 pegainfer-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-02-17
28
ARahim3/mlx-dspark

Décodage des LLM jusqu’à 4× plus rapide sur Apple Silicon, sans perte. Portage MLX natif du décodage spéculatif DSpark de DeepSeek et DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 et Bonsai-27B ternaire.

ARahim3
⭐ 743 Python 👤 ARahim3 User 🕐 Mis à jour 2026-11-08 📅 Créé 2026-06-29
29
prabanta-dev/janas

37 tok/s avec Qwen3-Next-80B (48 Go) sur un ordinateur portable de 32 Go ; 24 sans spéculation, contre 2,8 avec llama.cpp ; lecture à 62 contre 16 tok/s. Plus rapide que llama.cpp sur les 13 modèles comparés en Q4_K_M. Des LLM plus grands que votre RAM, en C pur, sur CPU ou GPU.

prabanta-dev
⭐ 738 C 👤 prabanta-dev Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-09-20
30
zhongkaifu/TensorSharp

Un moteur natif d’inférence de LLM .NET et un environnement d’exécution d’agents pour les modèles GGUF. TensorSharp fournit une application en ligne de commande, une interface de chatbot web, une application iPhone et des API HTTP compatibles avec Ollama/OpenAI pour un accès programmatique. Il prend en charge Windows, macOS, iOS et Linux avec une prise en charge complète du GPU.

zhongkaifu
⭐ 681 C# 👤 zhongkaifu User 🕐 Mis à jour 2026-11-20 📅 Créé 2026-04-03
31
carloslfu/slotstream

Exécutez un modèle d’IA de 105 Go sur un Mac qui ne peut pas le stocker. Qwen3.8-Flash-Next en 4 bits, chargé en continu depuis un SSD sur les Mac Apple Silicon dotés de 16 à 64 Go de mémoire. Entièrement natif en Swift, MLX et Metal. Hors ligne, sans Python. CLI, bibliothèque Swift et API Ollama/OpenAI/Anthropic. Compatible avec Claude Code et Codex.

carloslfu
⭐ 674 Swift 👤 carloslfu User 🕐 Mis à jour 2026-11-17 📅 Créé 2026-08-28
32
andrewkchan/yalm

Encore un autre modèle linguistique : inférence LLM en C++/CUDA, aucune bibliothèque à l'exception de l'E/S

andrewkchan
⭐ 597 C++ 👤 andrewkchan User 🕐 Mis à jour 2025-09-13 📅 Créé 2024-10-02
33
pylint-dev/astroid

Une représentation de base commune du code source Python pour pylint et d'autres projets

pylint-dev
⭐ 589 Python 👤 pylint-dev Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2015-12-08
34
zjhellofss/KuiperLLama

Projets de recrutement scolaire, automne, printemps, stages excellents, vous guidez pour implémenter de zéro un framework d'inférence de grands modèles supportant Llama2/3 et Qwen2.5.

zjhellofss
⭐ 581 C++ 👤 zjhellofss User 🕐 Mis à jour 2025-10-28 📅 Créé 2024-04-25
35
StartLuxLabs/StartLux-Prism

Inférence rapide et exacte des modèles StartLux-Decision sur GPU NVIDIA : les fichiers GGUF publiés s’exécutent sur des cœurs tensoriels int8 et 4 bits via l’API /v1/systemone, avec une latence jusqu’à 5,3 fois inférieure à celle de vLLM en FP8 et des réponses identiques au bit près.

StartLuxLabs
⭐ 560 Python 👤 StartLuxLabs Organization 🕐 Mis à jour 2026-10-27 📅 Créé 2026-10-13
36
zengxiao-he/tessera

Du professeur aux tuiles — un moteur de distillation et de service LLM construit de zéro : noyaux Triton/CUDA personnalisés, distillation FSDP, traitement par lots continu avec KV paginé, décodage spéculatif, une passerelle Rust, un oracle JAX et des outils d'interprétabilité.

zengxiao-he
⭐ 556 Python 👤 zengxiao-he User 🕐 Mis à jour 2026-10-09 📅 Créé 2026-06-05
37
SearchSavior/OpenArc

Moteur d'inférence pour appareils Intel. Servez des modèles LLM, VLM, Whisper, Kokoro-TTS, Embedding et Rerank via des points de terminaison OpenAI.

SearchSavior
⭐ 551 Python 👤 SearchSavior User 🕐 Mis à jour 2026-11-21 📅 Créé 2025-02-11
38
OmniJev/Flide

🔥🔥 Le moteur d’inférence ultra-rapide pour les modèles de décision

OmniJev
⭐ 550 Python 👤 OmniJev Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-24
39
Generated-Computers/Locals

Exécutez plusieurs agents d’IA en même temps sur votre Mac, jusqu’à 3 fois plus vite.

Generated-Computers
⭐ 538 Python 👤 Generated-Computers Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-10-12
40
brontoguana/krasis

Krasis est un runtime LLM hybride qui se concentre sur l'exécution efficace de modèles plus volumineux sur du matériel grand public à VRAM limitée

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Mis à jour 2026-11-12 📅 Créé 2026-02-09

Foire aux questions

1

Quel est le dépôt #inference-engine le plus populaire sur GitHub ?

Le projet #inference-engine open source le mieux classé sur GitHub est huggingface/candle, avec 21,367 étoiles. Framework ML minimaliste pour Rust

2

Quels langages de programmation sont les plus utilisés dans les dépôts #inference-engine ?

Parmi les projets #inference-engine les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, Rust, Go.

3

Comment le classement des dépôts #inference-engine est-il calculé ?

Nous suivons 40 dépôts open source actifs associés à #inference-engine (500+ étoiles), totalisant 102,063 étoiles, avec une moyenne de 2,551 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.