#llm-inference Dépôts
202 dépôts au total
Moteur d’inférence ultra-rapide pour Apple Silicon, optimisé pour Qwen et Nemotron. Compatible avec les API d’OpenAI et d’Anthropic. Créé par l’équipe de nace.ai
Comparez les projets LLM locaux open source compatibles selon leurs métriques pour évaluer leur popularité et leur activité.
Modèles ouverts de niveau frontière sur un TPU v5e-8 gratuit de Kaggle : GLM-5.3-Flash 320B MoE (~165 tok/s, avec notre propre moteur JAX) et Qwen3.8-27B bf16 (~130 tok/s), contexte de 262k et mise en cache des préfixes. Compatible avec Claude Code, Codex, opencode et pi.
SDK d’IA locale open source : exécutez l’IA sur l’appareil, sans cloud ni clés API. Prend en charge GGUF, RAG, la génération d’images, de musique et de vidéos, la conversion de la parole en texte, l’inférence P2P et bien plus encore. Multiplateforme : Linux, macOS, Windows, Android et iOS.
BitBLAS est une bibliothèque pour prendre en charge les multiplications matricielles à précision mixte, en particulier pour le déploiement de LLM quantifiés.
Moteur d'inférence LLM pur Rust + CUDA — pas de PyTorch, compatible OpenAI, sert de Qwen3 à Kimi-K2
Décodage des LLM jusqu’à 4× plus rapide sur Apple Silicon, sans perte. Portage MLX natif du décodage spéculatif DSpark de DeepSeek et DFlash de z-lab — Gemma-4, Qwen3.8, Muse-Glimmer, Nemotron, LFM2.5, Ornith-1.0 et Bonsai-27B ternaire.
LLM-PowerHouse : Libérez le potentiel des LLM grâce à des tutoriels organisés, des meilleures pratiques et du code prêt à l'emploi pour l'entraînement personnalisé et l'inférence.
USP : Attention Séquentielle Unifiée (a.k.a. Hybride, 2D) pour l'Entraînement et l'Inférence de Modèles Transformer à Contexte Long
Accélérez vos Transformers Hugging Face de 7,6 à 9 fois. Natif pour Hugging Face et PyTorch.
Modèle linguistique à poids ouverts de Google DeepMind, basé sur Griffin.
Exécutez un modèle d’IA de 105 Go sur un Mac qui ne peut pas le stocker. Qwen3.8-Flash-Next en 4 bits, chargé en continu depuis un SSD sur les Mac Apple Silicon dotés de 16 à 64 Go de mémoire. Entièrement natif en Swift, MLX et Metal. Hors ligne, sans Python. CLI, bibliothèque Swift et API Ollama/OpenAI/Anthropic. Compatible avec Claude Code et Codex.
Transformez votre téléphone Android en un serveur d’inférence LLM compatible avec OpenAI — entièrement local, privé et open source
Alternative Ollama pour Rockchip NPU : Une solution efficace pour exécuter des modèles d'IA et d'apprentissage profond sur des appareils Rockchip avec un support optimisé du NPU (rkllm)
Plateforme de recherche web minimaliste avec un assistant IA qui s'exécute directement depuis votre navigateur. Démo : https://felladrin-minisearch.hf.space
Système d'exploitation pour agents IA auto-hébergé. Vos souvenirs, discussions, agents et fichiers restent sur votre propre matériel, hors ligne par défaut, dans le cloud par choix. Mémoire IA hors ligne (taOSmd), chat de groupe multi-framework auto-hébergé, bureau web complet + boutique d'applications, et clustering automatique sur le matériel grand public que vous possédez déjà (Orange/Raspberry Pi, Mac mini, PC de jeu).
Encore un autre modèle linguistique : inférence LLM en C++/CUDA, aucune bibliothèque à l'exception de l'E/S
Projets de recrutement scolaire, automne, printemps, stages excellents, vous guidez pour implémenter de zéro un framework d'inférence de grands modèles supportant Llama2/3 et Qwen2.5.
Modèles MoE de pointe sur RTX PRO 6000 / RTX 5090 (sm_120) : DeepSeek-V4.1-Flash sur 4 RTX PRO 6000, en hybride GPU+CPU sur 4 RTX 5090, et experts à 2 bits sur vLLM v0.24.0
Une bibliothèque de recherche arborescente avec une API flexible pour la mise à l'échelle au moment de l'inférence des LLM
CLI pour exécuter un grand nombre d'agents de codage en parallèle avec des arbres de travail git
Inférence rapide et exacte des modèles StartLux-Decision sur GPU NVIDIA : les fichiers GGUF publiés s’exécutent sur des cœurs tensoriels int8 et 4 bits via l’API /v1/systemone, avec une latence jusqu’à 5,3 fois inférieure à celle de vLLM en FP8 et des réponses identiques au bit près.
Moteur d'inférence statique minimaliste, lot unique, uniquement CUDA, qwen3-0.6B, mini
Yi-1.5 est une version améliorée de Yi, offrant de meilleures performances en matière de codage, de mathématiques, de raisonnement et de capacité à suivre les instructions.
Xolotl : exécutez DeepSeek-V4.1-Flash, avec l’intégralité de ses 552B paramètres, comme agent de programmation local sur un seul PC gaming (RTX 4090 + 110 Go de RAM) : ~33 tok/s en mode agent, ~41 en mode rapide, avec un contexte de 512K. Également disponible : Inkling-2-Mini (Thinking Machines, moteur propriétaire + générateur d’ébauches MTP), GLM-5.3-Flash, Qwen3.8 et LFM3-Omni. Experts MoE répartis par niveaux entre la VRAM, la RAM et le NVMe (Xolotl Direct). API OpenAI + Anthropic.
[ICLR 2025] DuoAttention : Inférence LLM efficace à long contexte avec têtes de récupération et de streaming
Une liste soigneusement sélectionnée d’outils conçus pour Jev, le modèle System One de TypeSafe AI dédié aux décisions typées.
Krasis est un runtime LLM hybride qui se concentre sur l'exécution efficace de modèles plus volumineux sur du matériel grand public à VRAM limitée
Open Model Engine (OME) — opérateur Kubernetes pour le déploiement de services de LLM, l’ordonnancement des GPU et la gestion du cycle de vie des modèles. Compatible avec SGLang, vLLM, TensorRT-LLM et Triton
Apprenez l’ingénierie de l’inférence des LLM étape par étape : du cache KV, de PagedAttention et du traitement continu par lots à vLLM, SGLang et aux GPU.
KVarN est un backend natif vLLM de quantification du cache KV pour vos agents : 3 à 5 fois plus de contexte, un débit supérieur à FP16 et une précision de niveau FP16. Sans calibration, un seul indicateur.
Concevez, réalisez et analysez les résultats d’enquêtes et d’expériences alimentées par l’IA. Simulez des recherches en sciences sociales et des études de marché avec un grand nombre d’agents d’IA et de grands modèles de langage.