Git Stars Git Stars

#inference-optimization Dépôts

Découvrez 41 dépôts GitHub open source actifs associés à #inference-optimization, cumulant 86,309 étoiles au total (soit une moyenne de 2,105 étoiles par projet). Le projet en tête de ce thème est lllyasviel/stable-diffusion-webui-forge, avec 12,902 étoiles.

41
Total des Dépôts
86,309
Nombre total d'étoiles
2,105
Moyenne d'Étoiles/Dépôt
2
THUDM/slime

slime est un framework d’entraînement de LLM conçu pour la mise à l’échelle de l’apprentissage par renforcement.

THUDM
⭐ 8,856 Python 👤 THUDM Organization 🕐 Mis à jour 2026-11-05 📅 Créé 2025-06-18
3
deepseek-ai/open-infra-index

Outils d'infrastructure IA testés en production pour le développement efficace d'AGI et l'innovation pilotée par la communauté

deepseek-ai
⭐ 8,007 👤 deepseek-ai Organization 🕐 Mis à jour 2025-05-15 📅 Créé 2025-02-21
4
microsoft/LLMLingua

[EMNLP'23, ACL'24] Pour accélérer l'inférence des LLM et améliorer la perception des informations clés par les LLM, compresse le prompt et le KV-Cache, ce qui permet une compression jusqu'à 20 fois avec une perte de performance minimale.

microsoft
⭐ 6,846 Python 👤 microsoft Organization 🕐 Mis à jour 2026-11-09 📅 Créé 2023-07-07
5
QwenLM/Qwen3.8

Qwen3.8 est une série de grands modèles de langage développée par l’équipe Qwen du groupe Alibaba.

QwenLM
⭐ 4,459 👤 QwenLM Organization 🕐 Mis à jour 2026-08-17 📅 Créé 2025-09-11
7
syv-ai/HyperQwen

Exécutez rapidement de grands modèles Qwen sur les GPU que vous possédez réellement. Qwen3.8-27B sur une seule carte de 24 Go avec vLLM : 127 tok/s pour un seul utilisateur (381 lorsque la réponse cite le prompt), environ 1 035 tok/s avec 64 requêtes simultanées, et un contexte de 150k à 262k. Correctifs vLLM, pipeline de re-quantification et benchmarks.

syv-ai
⭐ 2,778 Python 👤 syv-ai Organization 🕐 Mis à jour 2026-11-10 📅 Créé 2026-08-15
8
google/XNNPACK

Opérateurs d'inférence pour réseaux neuronaux à virgule flottante à haute efficacité pour mobile, serveur et Web

google
⭐ 2,506 C 👤 google Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2019-09-13
9
XiaomiMiMo/MiMo

MiMo : Libérer le potentiel de raisonnement du modèle linguistique – de la pré-formation à la post-formation

XiaomiMiMo
⭐ 2,411 Python 👤 XiaomiMiMo Organization 🕐 Mis à jour 2026-10-29 📅 Créé 2025-04-26
10
AmberLJC/LLMSys-PaperList

Liste d'articles sur les systèmes de grands modèles linguistiques (LLM)

AmberLJC
⭐ 2,332 Python 👤 AmberLJC User 🕐 Mis à jour 2026-10-20 📅 Créé 2023-06-06
11
facebookresearch/blt

Code pour l'article de recherche BLT

facebookresearch
⭐ 2,070 Python 👤 facebookresearch Organization 🕐 Mis à jour 2025-11-03 📅 Créé 2024-12-09
12
NUS-HPC-AI-Lab/VideoSys

VideoSys : Un système simple et efficace pour la génération de vidéos

NUS-HPC-AI-Lab
⭐ 2,022 Python 👤 NUS-HPC-AI-Lab Organization 🕐 Mis à jour 2025-08-27 📅 Créé 2024-02-17
13
NVIDIA/Stable-Diffusion-WebUI-TensorRT

Extension TensorRT pour Stable Diffusion Web UI

NVIDIA
⭐ 1,994 Python 👤 NVIDIA Organization 🕐 Mis à jour 2024-06-14 📅 Créé 2023-10-10
14
ChenyangSi/FreeU

FreeU : Déjeuner Gratuit dans Diffusion U-Net (CVPR2024 Oral)

ChenyangSi
⭐ 1,892 👤 ChenyangSi User 🕐 Mis à jour 2024-12-24 📅 Créé 2023-09-14
15
llmgenai/LLMInterviewQuestions

Ce dépôt contient des questions d'entretien LLM (modèle linguistique large) posées dans des entreprises de premier plan comme Google, Nvidia, Meta, Microsoft et des entreprises du Fortune 500.

llmgenai
⭐ 1,781 👤 llmgenai User 🕐 Mis à jour 2025-02-12 📅 Créé 2024-12-26
16
chengzeyi/Comfy-WaveSpeed

https://wavespeed.ai/ [WIP] La solution d'optimisation d'inférence tout-en-un pour ComfyUI, universelle, flexible et rapide.

chengzeyi
⭐ 1,235 Python 👤 chengzeyi User 🕐 Mis à jour 2026-08-21 📅 Créé 2024-11-27
17
EdjeElectronics/TensorFlow-Object-Detection-on-the-Raspberry-Pi

Un tutoriel montrant comment configurer l'API de détection d'objets de TensorFlow sur Raspberry Pi

EdjeElectronics
⭐ 1,156 Python 👤 EdjeElectronics User 🕐 Mis à jour 2024-08-10 📅 Créé 2018-06-05
18
gpu-mode/awesomeMLSys

Une liste d'intégration de systèmes ML

gpu-mode
⭐ 1,154 👤 gpu-mode Organization 🕐 Mis à jour 2026-02-19 📅 Créé 2024-05-06
19
huggingface/search-and-learn

Recettes pour mettre à l'échelle le calcul en temps d'inférence des modèles ouverts

huggingface
⭐ 1,134 Python 👤 huggingface Organization 🕐 Mis à jour 2026-09-23 📅 Créé 2024-12-09
21
allenai/OLMoE

OLMoE: Modèles Langage Ouverts de Mélange d'Experts

allenai
⭐ 1,087 Jupyter Notebook 👤 allenai Organization 🕐 Mis à jour 2025-09-23 📅 Créé 2024-06-22
22
onnx/onnx-mlir

Représentation et Abaissement de Référence des Modèles ONNX dans l'Infrastructure du Compilateur MLIR

onnx
⭐ 1,072 MLIR 👤 onnx Organization 🕐 Mis à jour 2026-11-13 📅 Créé 2020-02-18
23
mryab/efficient-dl-systems

Matériaux du cours sur les systèmes d'apprentissage profond efficaces

mryab
⭐ 1,052 Jupyter Notebook 👤 mryab User 🕐 Mis à jour 2026-05-28 📅 Créé 2021-12-06
24
hzwer/Practical-RIFE

Une approche plus pratique de l'interpolation d'images.

hzwer
⭐ 1,050 Python 👤 hzwer User 🕐 Mis à jour 2026-08-27 📅 Créé 2021-06-16
25
daixiangzi/Awesome-Token-Compress

Une liste de papiers sur des travaux récents concernant la compression de jetons pour Vit et VLM

daixiangzi
⭐ 966 👤 daixiangzi User 🕐 Mis à jour 2026-11-13 📅 Créé 2024-09-06
26
FoundationVision/Waver

Modèle de base vidéo de niveau industriel pour la génération unifiée de texte en vidéo (T2V) et d'image en vidéo (I2V).

FoundationVision
⭐ 952 👤 FoundationVision Organization 🕐 Mis à jour 2025-08-27 📅 Créé 2025-08-05
27
alibaba/BladeDISC

BladeDISC est un projet de compilateur à forme dynamique de bout en bout pour les charges de travail d'apprentissage automatique.

alibaba
⭐ 911 C++ 👤 alibaba Organization 🕐 Mis à jour 2024-12-30 📅 Créé 2021-12-20
28
lifeiteng/OmniSenseVoice

Omni SenseVoice : Reconnaissance vocale à haute vitesse avec horodatage des mots 🗣️🎯

lifeiteng
⭐ 897 Python 👤 lifeiteng User 🕐 Mis à jour 2025-12-10 📅 Créé 2024-09-22
29
KohakuBlueleaf/a1111-sd-webui-lycoris

Une extension pour stable-diffusion-webui pour charger des modèles lycoris.

KohakuBlueleaf
⭐ 894 Python 👤 KohakuBlueleaf User 🕐 Mis à jour 2024-02-16 📅 Créé 2023-04-09
30
aiola-lab/whisper-medusa

Chuchoter avec des têtes de Méduse

aiola-lab
⭐ 860 Python 👤 aiola-lab Organization 🕐 Mis à jour 2026-07-02 📅 Créé 2024-07-17
31
datawhalechina/llm-algo-leetcode

Algorithmes et systèmes de LLM en pratique avec PyTorch, Triton et CUDA. « Tutoriel sur les algorithmes et systèmes de LLM » : architectures et entraînement des modèles, post-entraînement, accélération de l’inférence, optimisation des performances et des opérateurs, avec des exercices Notebook, des explications des réponses, des tests et des expériences.

datawhalechina
⭐ 811 Jupyter Notebook 👤 datawhalechina Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2026-04-01
32
tensorflow/runtime

Un runtime performant et modulaire pour TensorFlow

tensorflow
⭐ 754 C++ 👤 tensorflow Organization 🕐 Mis à jour 2025-09-04 📅 Créé 2020-04-24
33
IEIT-Yuan/Yuan-2.0

Yuan 2.0 Large Language Model

IEIT-Yuan
⭐ 689 Python 👤 IEIT-Yuan Organization 🕐 Mis à jour 2024-07-11 📅 Créé 2023-11-26
34
microsoft/VPTQ

VPTQ, un algorithme de quantification flexible et à très faible nombre de bits

microsoft
⭐ 683 Python 👤 microsoft Organization 🕐 Mis à jour 2026-08-04 📅 Créé 2024-08-13
36
HybridTalentComputing/cline-chinese

Version Cline localisée en chinois, Cline est un assistant de programmation autonome qui s'exécute dans votre IDE et qui, avec votre permission, peut créer/modifier des fichiers, exécuter des commandes, utiliser le navigateur et d'autres fonctions.

HybridTalentComputing
⭐ 660 TypeScript 👤 HybridTalentComputing User 🕐 Mis à jour 2026-07-14 📅 Créé 2025-02-07
38
HazyResearch/aisys-building-blocks

Blocs de construction pour les modèles de fondation.

HazyResearch
⭐ 587 👤 HazyResearch Organization 🕐 Mis à jour 2024-01-03 📅 Créé 2023-11-30
39
brontoguana/krasis

Krasis est un runtime LLM hybride qui se concentre sur l'exécution efficace de modèles plus volumineux sur du matériel grand public à VRAM limitée

brontoguana
⭐ 530 C++ 👤 brontoguana User 🕐 Mis à jour 2026-11-12 📅 Créé 2026-02-09
40
amitshekhariitbhu/llm-inference-engineering

Apprenez l’ingénierie de l’inférence des LLM étape par étape : du cache KV, de PagedAttention et du traitement continu par lots à vLLM, SGLang et aux GPU.

amitshekhariitbhu
⭐ 523 Markdown 👤 amitshekhariitbhu User 🕐 Mis à jour 2026-11-09 📅 Créé 2026-08-18
41
YingqingHe/ScaleCrafter

[ICLR 2024 Spotlight] Implémentation officielle de ScaleCrafter pour une génération visuelle à plus haute résolution au moment de l'inférence.

YingqingHe
⭐ 508 Python 👤 YingqingHe User 🕐 Mis à jour 2024-03-07 📅 Créé 2023-10-07

Foire aux questions

1

Quel est le dépôt #inference-optimization le plus populaire sur GitHub ?

Le projet #inference-optimization open source le mieux classé sur GitHub est lllyasviel/stable-diffusion-webui-forge, avec 12,902 étoiles.

2

Quels langages de programmation sont les plus utilisés dans les dépôts #inference-optimization ?

Parmi les projets #inference-optimization les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Jupyter Notebook, C++, C.

3

Comment le classement des dépôts #inference-optimization est-il calculé ?

Nous suivons 41 dépôts open source actifs associés à #inference-optimization (500+ étoiles), totalisant 86,309 étoiles, avec une moyenne de 2,105 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.