Git Stars Git Stars

#llm-inference Dépôts

202
Total des Dépôts
1.0M
Nombre total d'étoiles
5,180
Moyenne d'Étoiles/Dépôt
101
AnswerDotAI/rerankers

Une API unifiée, légère et à faible dépendance pour utiliser tous les modèles courants de réordonnancement et de cross-encoder.

AnswerDotAI
⭐ 1,644 Python 👤 AnswerDotAI Organization 🕐 Mis à jour 2025-12-20 📅 Créé 2024-03-06
102
xLLM-AI/xllm

Un moteur d’inférence haute performance pour les modèles LLM, VLM et DiT, optimisé pour divers accélérateurs d’IA. Il est hébergé par la fondation OpenAtom.

xLLM-AI
⭐ 1,626 C++ 👤 xLLM-AI Organization 🕐 Mis à jour 2026-11-21 📅 Créé 2025-08-12
103
autonomous-ai/Personal-AI-Computer

Configurations d’ordinateurs IA open source, des PC de bureau à 2 GPU aux serveurs à 8 GPU : fichiers CAO, nomenclature, BIOS et guides de montage. Procurez-vous le kit de boîtier avec risers PCIe ou demandez-nous une vérification gratuite de compatibilité.

autonomous-ai
⭐ 1,601 👤 autonomous-ai Organization 🕐 Mis à jour 2026-11-05 📅 Créé 2025-08-22
104
mit-han-lab/smoothquant

[ICML 2023] SmoothQuant : Quantification post-entraînement précise et efficace pour les grands modèles linguistiques

mit-han-lab
⭐ 1,576 Python 👤 mit-han-lab Organization 🕐 Mis à jour 2024-07-12 📅 Créé 2022-11-17
105
jax-ml/scaling-book

Accueil de "How To Scale Your Model", un court manuel de style blog sur la mise à l'échelle des LLM sur TPU

jax-ml
⭐ 1,537 SCSS 👤 jax-ml Organization 🕐 Mis à jour 2026-10-19 📅 Créé 2025-02-03
106
theroyallab/tabbyAPI

Le serveur API officiel pour Exllama. Compatible OAI, léger et rapide.

theroyallab
⭐ 1,531 Python 👤 theroyallab Organization 🕐 Mis à jour 2026-11-14 📅 Créé 2023-11-10
107
felladrin/awesome-ai-web-search

Liste de logiciels permettant de rechercher sur le web avec l'aide de l'IA : https://hf.co/spaces/felladrin/awesome-ai-web-search

felladrin
⭐ 1,521 HTML 👤 felladrin User 🕐 Mis à jour 2026-11-21 📅 Créé 2024-11-09
108
sauravpanda/BrowserAI

Exécutez des LLM locaux comme llama, deepseek-distill, kokoro et plus encore dans votre navigateur

sauravpanda
⭐ 1,451 TypeScript 👤 sauravpanda User 🕐 Mis à jour 2026-07-21 📅 Créé 2025-01-08
110
taielab/awesome-hacking-lists

Une collection organisée d'outils de test de pénétration de premier ordre et d'utilitaires de productivité dans plusieurs domaines. Rejoignez-nous pour explorer, contribuer et améliorer votre boîte à outils de piratage !

taielab
⭐ 1,404 👤 taielab User 🕐 Mis à jour 2025-12-04 📅 Créé 2020-06-12
112
lean-dojo/LeanCopilot

LLM comme copilotes pour la preuve de théorèmes dans Lean

lean-dojo
⭐ 1,347 C++ 👤 lean-dojo Organization 🕐 Mis à jour 2026-11-16 📅 Créé 2023-09-09
113
hemingkx/SpeculativeDecodingPapers

📰 Articles et blogs incontournables sur le décodage spéculatif ⚡️

hemingkx
⭐ 1,309 👤 hemingkx User 🕐 Mis à jour 2026-06-27 📅 Créé 2023-09-20
114
aigrantsindia/aigrantsindia

Obtenir des clés API pour les hackathons d'IA

aigrantsindia
⭐ 1,287 👤 aigrantsindia User 🕐 Mis à jour 2025-06-09 📅 Créé 2025-02-22
115
wici-ai/inferssd

Exécutez des modèles dont la taille dépasse la capacité de votre RAM ou VRAM en diffusant les experts MoE depuis un SSD. Basé sur llama.cpp.

wici-ai
⭐ 1,277 C++ 👤 wici-ai Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2026-10-22
116
patchy631/time-to-first-token

Une feuille de route sur 10 semaines, à raison de 30 minutes par jour, pour le déploiement et l’optimisation de l’inférence des LLM. vLLM, SGLang, quantification, décodage spéculatif et évaluation comparative.

patchy631
⭐ 1,245 HTML 👤 patchy631 User 🕐 Mis à jour 2026-08-14 📅 Créé 2026-08-02
117
Azure/AzurePublicDataset

Microsoft Azure Traces

Azure
⭐ 1,231 Jupyter Notebook 👤 Azure Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2017-08-18
118
eagle-hq/EAGLE-4

Code officiel d’inférence d’EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Mis à jour 2026-11-13 📅 Créé 2026-10-20
119
jmaczan/tiny-vllm

Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version plus petite de vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Mis à jour 2026-11-15 📅 Créé 2026-02-09
120
StayLameBro/backburner

Votre iPhone aide votre Mac à exécuter un modèle de 27 milliards de paramètres : lecture plus rapide des invites et davantage de contexte via un câble USB-C

StayLameBro
⭐ 1,195 Python 👤 StayLameBro User 🕐 Mis à jour 2026-11-07 📅 Créé 2026-10-01
121
Tencent/hpc-ops

Bibliothèque d'opérateurs d'inférence LLM haute performance

Tencent
⭐ 1,193 C++ 👤 Tencent Organization 🕐 Mis à jour 2026-11-19 📅 Créé 2026-01-20
122
character-ai/prompt-poet

Rationalise et simplifie la conception des invites pour les développeurs et les utilisateurs non techniques grâce à une approche low-code.

character-ai
⭐ 1,160 Python 👤 character-ai Organization 🕐 Mis à jour 2026-02-12 📅 Créé 2024-07-17
123
microsoft/onnxruntime-genai

IA générative avec ONNX Runtime

microsoft
⭐ 1,158 C++ 👤 microsoft Organization 🕐 Mis à jour 2026-11-17 📅 Créé 2023-11-13
⭐ 1,090 Python 👤 thinking-machines-lab Organization 🕐 Mis à jour 2025-11-04 📅 Créé 2025-09-10
125
zhuzilin/ring-flash-attention

Implémentation de l'attention en anneau avec flash attention

zhuzilin
⭐ 1,054 Python 👤 zhuzilin User 🕐 Mis à jour 2025-09-10 📅 Créé 2024-02-21
126
jondurbin/airoboros

Implémentation personnalisable du papier "self-instruct".

jondurbin
⭐ 1,050 Python 👤 jondurbin User 🕐 Mis à jour 2024-03-07 📅 Créé 2023-04-29
⭐ 1,041 Python 👤 huggingface Organization 🕐 Mis à jour 2026-09-24 📅 Créé 2023-10-06
128
tspeterkim/flash-attention-minimal

Flash Attention en ~100 lignes de CUDA (passage avant uniquement)

tspeterkim
⭐ 1,036 Cuda 👤 tspeterkim User 🕐 Mis à jour 2024-12-30 📅 Créé 2024-03-07
⭐ 1,027 Python 👤 microsoft Organization 🕐 Mis à jour 2024-01-04 📅 Créé 2023-07-17
132
MoonshotAI/checkpoint-engine

Checkpoint-engine est un middleware simple pour mettre à jour les poids du modèle dans les moteurs d'inférence LLM

MoonshotAI
⭐ 1,026 Python 👤 MoonshotAI Organization 🕐 Mis à jour 2026-10-22 📅 Créé 2025-09-08
133
shyamsaktawat/OpenAlpha_Evolve

OpenAlpha_Evolve est un framework Python open-source inspiré par les recherches révolutionnaires sur les agents de codage autonomes tels qu'AlphaEvolve de DeepMind.

shyamsaktawat
⭐ 1,021 Python 👤 shyamsaktawat User 🕐 Mis à jour 2025-05-31 📅 Créé 2025-05-17
134
tingaicompass/AI-Compass

"AI-Compass" guidera la communauté pour naviguer dans l'océan des technologies IA. Que vous soyez débutant ou développeur confirmé, vous trouverez ici les voies vers toutes les grandes orientations de l'IA. Ce projet vise à aider les développeurs à comprendre de façon systématique les concepts clés de l'IA, les technologies majeures, les tendances de pointe, et, par la pratique, à maîtriser l’ensemble du processus, de la théorie à la mise en œuvre.

tingaicompass
⭐ 1,000 Python 👤 tingaicompass User 🕐 Mis à jour 2026-11-20 📅 Créé 2025-05-27
135
likejazz/llama3.np

llama3.np est une implémentation NumPy pure pour le modèle Llama 3.

likejazz
⭐ 991 Python 👤 likejazz User 🕐 Mis à jour 2025-04-27 📅 Créé 2024-05-13
136
convergence-ai/proxy-lite

Une version mini, à poids ouverts, de notre assistant Proxy.

convergence-ai
⭐ 989 Python 👤 convergence-ai Organization 🕐 Mis à jour 2025-02-26 📅 Créé 2025-02-10
137
feder-cr/jev

jevos : une alternative open source à Jev et Microsoft-Decision-1. Des décisions par oui ou non, des choix et des scores avec des probabilités, sur le processeur de votre ordinateur portable.

feder-cr
⭐ 970 C++ 👤 feder-cr User 🕐 Mis à jour 2026-10-18 📅 Créé 2024-08-15
138
dalisoft/awesome-hosting

Liste d'hébergement génial triée par prix du plan minimal

dalisoft
⭐ 970 👤 dalisoft User 🕐 Mis à jour 2026-11-21 📅 Créé 2019-05-31
139
microsoft/T-MAC

Inférence LLM à faible nombre de bits sur CPU/NPU avec table de correspondance

microsoft
⭐ 964 C++ 👤 microsoft Organization 🕐 Mis à jour 2025-06-05 📅 Créé 2024-02-02
140
triton-inference-server/tensorrtllm_backend

Le backend Triton TensorRT-LLM

triton-inference-server
⭐ 944 👤 triton-inference-server Organization 🕐 Mis à jour 2026-11-02 📅 Créé 2023-09-12
141
foldl/chatllm.cpp

Implémentation C++ pure de plusieurs modèles pour le chat en temps réel sur votre ordinateur (CPU et GPU)

foldl
⭐ 942 C++ 👤 foldl User 🕐 Mis à jour 2026-11-15 📅 Créé 2023-12-02
142
guidance-ai/llguidance

Sorties Structurées Ultra-rapides

guidance-ai
⭐ 917 Rust 👤 guidance-ai Organization 🕐 Mis à jour 2026-11-18 📅 Créé 2024-07-25
143
kubernetes-sigs/lws

LeaderWorkerSet et DisaggregatedSet : API Kubernetes pour le service d’IA distribué et désagrégé

kubernetes-sigs
⭐ 909 Go 👤 kubernetes-sigs Organization 🕐 Mis à jour 2026-11-20 📅 Créé 2024-02-22
144
zhihu/ZhiLight

Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.

zhihu
⭐ 906 C++ 👤 zhihu Organization 🕐 Mis à jour 2026-03-18 📅 Créé 2024-12-06
145
harleyszhang/llm_note

Notes sur les LLM, y compris l'inférence de modèle, la structure du modèle Transformer et les notes d'analyse du code de framework LLM.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Mis à jour 2026-08-19 📅 Créé 2024-09-18
148
YassKhazzan/openperplex_backend_os

openperplex est un moteur de recherche IA open source

YassKhazzan
⭐ 889 Python 👤 YassKhazzan User 🕐 Mis à jour 2024-08-04 📅 Créé 2024-08-03
149
HazyResearch/Megakernels

Noyaux, de la variété méga :)

HazyResearch
⭐ 885 Python 👤 HazyResearch Organization 🕐 Mis à jour 2026-05-26 📅 Créé 2025-05-27
150
eastriverlee/LLM.swift

LLM.swift est une bibliothèque simple et lisible qui vous permet d'interagir facilement avec de grands modèles linguistiques localement pour macOS, iOS, watchOS, tvOS et visionOS.

eastriverlee
⭐ 883 Swift 👤 eastriverlee User 🕐 Mis à jour 2026-07-19 📅 Créé 2023-12-02