Git Stars Git Stars

#inference Dépôts

144
Total des Dépôts
870,238
Nombre total d'étoiles
6,043
Moyenne d'Étoiles/Dépôt
51
trymirai/uzu

Un moteur d'inférence haute performance pour les modèles d'IA

trymirai
⭐ 3,378 Rust 👤 trymirai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-06-23
52
openvinotoolkit/openvino_notebooks

📚 Tutoriels Jupyter Notebook pour OpenVINO™

openvinotoolkit
⭐ 3,245 Jupyter Notebook 👤 openvinotoolkit Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2021-03-11
53
vllm-project/vllm-ascend

Plugin matériel pour vLLM sur Huawei Ascend, maintenu par la communauté

vllm-project
⭐ 3,128 Python 👤 vllm-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-01-29
54
pytorch/ao

Quantification native PyTorch pour l'entraînement et l'inférence

pytorch
⭐ 3,032 Python 👤 pytorch Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-11-03
55
pykeio/ort

Inférence et entraînement ML rapides pour les modèles ONNX en Rust

pykeio
⭐ 2,626 Rust 👤 pykeio Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2022-11-26
56
data-infra/cube-studio

CubeStudio est une plateforme open source cloud-native tout-en-un pour l'apprentissage automatique/l'apprentissage profond/les grands modèles d'IA/MaaS/MLOps/plateforme d'intelligence artificielle/plateforme d'entraînement et d'inférence, couvrant le pipeline complet des algorithmes, la multi-location, la plateforme de location de puissance de calcul, le relais de tokens, l'orchestration de pipelines de flux de travail par glisser-déposer, l'entraînement distribué multi-machine multi-carte, la recherche d'hyperparamètres, les services d'inférence, la virtualisation VGPU, la collaboration cloud-edge-device, le calcul en périphérie, la plateforme d'annotation automatisée, le fine-tuning SFT/le modèle de récompense/l'entraînement par apprentissage par renforcement pour les grands modèles comme DeepSeek, l'inférence multi-machine pour les grands modèles avec vLLM/Ollama/MindIE, les agents intelligents LLMOps avec base de connaissances privée, le marché de modèles d'IA, le support pour l'ordonnancement de puissance de calcul hétérogène nationale (Ascend, Cambricon, Hygon, Moore Threads, Muxi, etc.), le support pour IB/RoCE/RDMA et le support Xinchuang.

data-infra
⭐ 2,615 Python 👤 data-infra User 🕐 Mis à jour 2026-10-12 📅 Créé 2024-07-02
57
huggingface/huggingface.js

Utiliser Hugging Face avec JavaScript

huggingface
⭐ 2,613 TypeScript 👤 huggingface Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-02-06
58
ddalcu/mlx-serve

Serveur d’inférence LLM natif pour Apple Silicon. Compatible avec les API d’OpenAI et d’Anthropic. Sans Python. Application macOS avec backend en Zig et frontend en Swift, prenant en charge la génération de conversations, de musique, de voix et de vidéos.

ddalcu
⭐ 2,528 Zig 👤 ddalcu User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-02-17
59
google/XNNPACK

Opérateurs d'inférence pour réseaux neuronaux à virgule flottante à haute efficacité pour mobile, serveur et Web

google
⭐ 2,506 C 👤 google Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2019-09-13
60
roboflow/inference

Transformez n'importe quel ordinateur ou appareil edge en un centre de commande pour vos projets de vision par ordinateur.

roboflow
⭐ 2,500 Python 👤 roboflow Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-07-31
61
theagentrouter/agent-router

Gère l'accès unifié aux services d'IA générative construits sur Envoy Gateway

theagentrouter
⭐ 2,428 Go 👤 theagentrouter Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2024-10-21
62
adithya-s-k/AI-Engineering.academy

Maîtriser l'IA appliquée, concept par concept

adithya-s-k
⭐ 2,388 Jupyter Notebook 👤 adithya-s-k User 🕐 Mis à jour 2026-02-27 📅 Créé 2023-10-05
63
dstackai/dstack

Une couche d’orchestration unifiée pour des ressources de calcul IA hétérogènes. Elle standardise la gestion des ressources de calcul ainsi que l’exécution de l’entraînement et de l’inférence sur des clouds GPU, Kubernetes, des machines virtuelles ou des clusters bare metal.

dstackai
⭐ 2,319 Python 👤 dstackai Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2022-01-04
64
mozilla-ai/any-llm

Communiquez avec un fournisseur LLM à l'aide d'une interface unique

mozilla-ai
⭐ 2,265 Python 👤 mozilla-ai Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-07-14
65
RightNow-AI/picolm

Exécuter un LLM de 1 milliard de paramètres sur une carte de 10 $ avec 256 Mo de RAM.

RightNow-AI
⭐ 2,218 C 👤 RightNow-AI Organization 🕐 Mis à jour 2026-02-22 📅 Créé 2026-02-19
66
magenta/magenta-js

Magenta.js : Génération de musique et d'art avec l'apprentissage automatique dans le navigateur

magenta
⭐ 2,136 TypeScript 👤 magenta Organization 🕐 Mis à jour 2026-06-22 📅 Créé 2018-03-26
67
tairov/llama2.mojo

Inférence Llama 2 dans un fichier de pur 🔥

tairov
⭐ 2,126 Mojo 👤 tairov User 🕐 Mis à jour 2026-09-30 📅 Créé 2023-09-10
68
deepspeedai/DeepSpeed-MII

MII permet une inférence à faible latence et à haut débit, alimentée par DeepSpeed.

deepspeedai
⭐ 2,107 Python 👤 deepspeedai Organization 🕐 Mis à jour 2025-06-30 📅 Créé 2022-03-23
69
microsoft/aici

AICI : Prompts en tant que programmes (Wasm)

microsoft
⭐ 2,077 Rust 👤 microsoft Organization 🕐 Mis à jour 2025-01-22 📅 Créé 2023-09-26
70
SemiAnalysisAI/InferenceX

Plateforme de recherche en inférence open source

SemiAnalysisAI
⭐ 2,074 Python 👤 SemiAnalysisAI Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-07-12
71
sgl-project/sglang-omni

Environnement d’exécution hautes performances pour le service de systèmes de superintelligence interactifs

sgl-project
⭐ 1,882 Python 👤 sgl-project Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-01-07
72
AgibotTech/agibot_x1_infer

Le module d'inférence pour AgiBot X1.

AgibotTech
⭐ 1,817 C++ 👤 AgibotTech Organization 🕐 Mis à jour 2025-04-03 📅 Créé 2024-10-23
73
StartLuxLabs/StartLux-Decision

Modèles de décision ouverts de 0,8B à 27B : une probabilité calibrée pour chaque option en un seul passage, et un bref raisonnement uniquement en cas d’incertitude. Moteur pour vLLM, llama.cpp et MLX.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 Mis à jour 2026-10-23 📅 Créé 2026-09-29
74
theopenco/llmgateway

Routage, gestion et analyse de vos requêtes LLM sur plusieurs fournisseurs avec une interface API unifiée.

theopenco
⭐ 1,755 TypeScript 👤 theopenco Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-04-12
75
Maratyszcza/NNPACK

Paquet d'accélération pour les réseaux neuronaux sur CPU multi-cœurs

Maratyszcza
⭐ 1,702 C 👤 Maratyszcza User 🕐 Mis à jour 2024-06-11 📅 Créé 2016-03-21
76
ELS-RD/transformer-deploy

Serveur d'inférence CPU/GPU efficace, évolutif et de niveau entreprise pour les modèles transformer de 🤗 Hugging Face 🚀

ELS-RD
⭐ 1,689 Python 👤 ELS-RD Organization 🕐 Mis à jour 2024-10-23 📅 Créé 2021-10-31
77
RunanywhereAI/trnrt

Le moteur d’inférence LLM open source pour AWS Trainium : méganoyaux NKI, contexte de 1 million de tokens et API compatible avec OpenAI. Par RunAnywhere.

RunanywhereAI
⭐ 1,653 Python 👤 RunanywhereAI Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-10-30
78
xLLM-AI/xllm

Un moteur d’inférence haute performance pour les modèles LLM, VLM et DiT, optimisé pour divers accélérateurs d’IA. Il est hébergé par la fondation OpenAtom.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-08-12
79
Delta-ML/delta

DELTA est une plateforme de traitement du langage naturel et de la parole basée sur l'apprentissage profond. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/

Delta-ML
⭐ 1,602 Python 👤 Delta-ML Organization 🕐 Mis à jour 2025-04-16 📅 Créé 2019-05-29
80
utkuozdemir/nvidia_gpu_exporter

Exportateur de GPU NVIDIA pour Prometheus utilisant le binaire nvidia-smi OU NVML

utkuozdemir
⭐ 1,599 Go 👤 utkuozdemir User 🕐 Mis à jour 2026-11-20 📅 Créé 2021-06-08
81
Tencent/TurboTransformers

un environnement d'exécution rapide et convivial pour l'inférence de transformeurs (Bert, Albert, GPT2, Décoders, etc.) sur CPU et GPU.

Tencent
⭐ 1,546 C++ 👤 Tencent Organization 🕐 Mis à jour 2025-07-18 📅 Créé 2020-04-20
⭐ 1,503 Python 👤 Stability-AI Organization 🕐 Mis à jour 2025-01-08 📅 Créé 2024-10-09
83
sybil-solutions/inference-optimisation-skill

Compétence d’agent pour optimiser progressivement la vitesse de service des LLM locaux (décodage, décodage spéculatif, préremplissage, KV, démarrage, TTFT) sur tout type de matériel et de quantification

sybil-solutions
⭐ 1,425 Python 👤 sybil-solutions Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2026-11-16
84
alibaba/rtp-llm

RTP-LLM : Le moteur d'inférence LLM haute performance d'Alibaba pour diverses applications.

alibaba
⭐ 1,402 Python 👤 alibaba Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-12-27
85
ebhy/budgetml

Déployez un service d'inférence ML avec un budget limité en moins de 10 lignes de code.

ebhy
⭐ 1,345 Python 👤 ebhy Organization 🕐 Mis à jour 2024-02-12 📅 Créé 2020-12-27
86
StarlightSearch/EmbedAnything

Inférence, ingestion et indexation hautement performantes, modulaires, sécurisées en mémoire et prêtes pour la production, construites en Rust 🦀

StarlightSearch
⭐ 1,334 Rust 👤 StarlightSearch Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2024-03-31
87
qualcomm/ai-hub-models

Qualcomm® AI Hub Models est notre collection de modèles d'apprentissage automatique de pointe optimisés pour les performances (latence, mémoire, etc.) et prêts à être déployés sur les appareils Qualcomm®.

qualcomm
⭐ 1,269 Python 👤 qualcomm Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2023-12-20
88
NVIDIA/kvpress

Compression facile du cache KV LLM

NVIDIA
⭐ 1,258 Python 👤 NVIDIA Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2024-11-06
89
FenTechSolutions/CausalDiscoveryToolbox

Paquet pour l'inférence causale dans les graphes et dans les paramètres par paires. Des outils pour la récupération de la structure du graphe et des dépendances sont inclus.

FenTechSolutions
⭐ 1,242 Python 👤 FenTechSolutions Organization 🕐 Mis à jour 2025-10-13 📅 Créé 2017-05-31
90
run-house/kubetorch

Distribuez et exécutez des charges de travail d'IA sur Kubernetes de manière magique en Python, comme PyTorch pour l'infrastructure ML.

run-house
⭐ 1,228 Python 👤 run-house Organization 🕐 Mis à jour 2026-05-29 📅 Créé 2022-05-10
91
google/agentmesh

Maillage d’agents

google
⭐ 1,208 Go 👤 google Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2026-04-21
92
jmaczan/tiny-vllm

Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version plus petite de vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Mis à jour 2026-11-15 📅 Créé 2026-02-09
93
chrishayuk/larql

Exécutez, hébergez, interrogez et modifiez des modèles d’IA — un environnement d’exécution de modèles en Rust basé sur VINDEX3, un format de modèle exécutable et inspectable.

chrishayuk
⭐ 1,196 Rust 👤 chrishayuk User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-03-27
94
usamahz/cpu-performance-engineering

Un parcours de lecture sur l’ingénierie des performances des CPU, d’une seule instruction jusqu’à l’inférence en production. Uniquement des sources primaires, avec un benchmark exécutable pour chaque section.

usamahz
⭐ 1,160 Python 👤 usamahz User 🕐 Mis à jour 2026-10-08 📅 Créé 2026-09-17
95
receptron/laya

Exécutez Laya, le modèle décisionnel System-1 open source compatible avec Jev, depuis Node.js / TypeScript via ONNX Runtime

receptron
⭐ 1,092 TypeScript 👤 receptron Organization 🕐 Mis à jour 2026-10-17 📅 Créé 2026-09-19
96
Helldez/BigMoeOnEdge

Exécutez des modèles MoE plus volumineux que votre RAM. Des MoE de pointe sur un téléphone, un ordinateur portable ou un appareil edge. Sans perte, avec llama.cpp standard. Un optimiseur adaptatif en streaming. Tout matériel, tout système d’exploitation, tout modèle et toute quantification, via un serveur local compatible avec OpenAI.

Helldez
⭐ 1,066 C++ 👤 Helldez User 🕐 Mis à jour 2026-11-21 📅 Créé 2026-07-10
97
jjang-ai/mlxstudio

MLX Studio - Le moyen le plus simple d’exécuter des LLM sur votre Mac. Un moteur tout-en-un.

jjang-ai
⭐ 992 👤 jjang-ai User 🕐 Mis à jour 2026-11-07 📅 Créé 2026-03-05
98
efeslab/Nanoflow

Un framework de service haute performance axé sur le débit pour les LLM

efeslab
⭐ 978 Jupyter Notebook 👤 efeslab Organization 🕐 Mis à jour 2026-03-29 📅 Créé 2024-08-19
99
openvinotoolkit/model_server

Un serveur d'inférence scalable pour les modèles optimisés avec OpenVINO™

openvinotoolkit
⭐ 961 C++ 👤 openvinotoolkit Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2018-09-26
100
huawei-noah/bolt

Bolt est une bibliothèque d'apprentissage profond avec des performances élevées et une flexibilité hétérogène.

huawei-noah
⭐ 958 C++ 👤 huawei-noah Organization 🕐 Mis à jour 2025-04-11 📅 Créé 2019-12-02