#llm-inference Dépôts
Découvrez 202 dépôts GitHub open source actifs associés à #llm-inference, cumulant 1,046,424 étoiles au total (soit une moyenne de 5,180 étoiles par projet). Le projet en tête de ce thème est deepseek-ai/DeepSeek-V3, avec 104,417 étoiles.
202 dépôts au total
GPT4All : Exécutez des LLM locaux sur n'importe quel appareil. Open-source et disponible pour un usage commercial.
Application de bureau open-source pour les LLM locaux. Texte, vision, appel d'outils, API compatible OpenAI/Anthropic. 100% privé.
Ray est un moteur de calcul IA. Ray est composé d'un runtime distribué central et d'un ensemble de bibliothèques IA pour accélérer les charges de travail ML.
Qwen3 est la série de grands modèles linguistiques développée par l'équipe Qwen d'Alibaba Cloud.
Une galerie qui présente des cas d'utilisation ML/GenAI sur appareil et permet aux utilisateurs d'essayer et d'utiliser des modèles localement.
Ce projet vise à partager les principes techniques et l'expérience pratique liés aux grands modèles (ingénierisation des grands modèles, mise en œuvre pratique des grands modèles).
Un cadre flexible pour expérimenter les optimisations d'inférence/de fine-tuning des LLM hétérogènes
Plus de 20 LLM performants avec des recettes pour pré-entraîner, affiner et déployer à grande échelle.
Exécutez n'importe quel LLM open-source, tel que DeepSeek et Llama, en tant qu'endpoint API compatible avec OpenAI dans le cloud.
Un modèle Kimi K3 de 2 780 milliards de paramètres effectuant une inférence sur un seul CPU avec 8,24 Go de RAM. C99 portable : sans BLAS, sans framework, sans GPU.
OpenVINO™ est un kit d'outils open source pour optimiser et déployer l'inférence IA.
Service de grands modèles linguistiques à haute vitesse pour le déploiement local
La manière la plus simple de servir des applications et modèles IA - Créez des API d'inférence de modèles, des files d'attente de tâches, des applications LLM, des pipelines multi-modèles et plus encore !
《Comprendre en profondeur l’infrastructure de l’IA : analyse quantitative et conception de systèmes》 (de Li Bojie), un manuscrit de livre open source : à partir des contraintes matérielles et de l’architecture des modèles, il déduit quantitativement la conception des systèmes d’inférence et d’entraînement des LLM. Comprend le texte intégral, le PDF, des outils de calcul associés et des expériences.
Inférence de Gemma 4 26B-A4B avec environ 2 Go de RAM sur n'importe quel MacBook de la série M
[ICLR 2024] Modèles de Langage Efficaces en Streaming avec des Puits d'Attention
Plano est un serveur proxy natif IA et un plan de données pour les applications agentiques. Routage intelligent des LLM, observabilité, orchestration des agents et garde-fous pour que vous restiez concentré sur la logique principale de vos agents.
DeepSeek-Coder-V2 : Briser la barrière des modèles propriétaires en matière d'intelligence du code
Ceci est un simple projet de tutoriel technique科普, axé principalement sur l'explication de concepts et de principes technologiques intéressants et de pointe. Chaque article vise à être lu en 5 minutes.
Lemonade aide les utilisateurs à découvrir et à exécuter des applications d'IA locales en fournissant des LLM optimisés directement depuis leurs propres GPU et NPU. Rejoignez notre Discord : https://discord.gg/5xXzkMu8Zk
Plateforme d'inférence IA générative et prédictive distribuée standardisée pour un déploiement scalable et multi-framework sur Kubernetes
Génération de texte Transformer simple et efficace, native de pytorch, en moins de 1000 lignes de code Python.
Quantification sur 2 bits, noyaux et environnement d’exécution pour les appareils grand public.
Un gestionnaire de cluster GPU pour le service de modèles d'IA haute performance (vLLM, SGLang) et des instances GPU accessibles par SSH à la demande.
⚡ Moteur d'inférence WebGPU en Rust pur — Compatible avec l'API OpenAI, natif GGUF, fonctionne sur n'importe quel GPU. Pas de Python. Pas de llama.cpp. Binaire unique.
Bibliothèque d'inférence plug-and-play générale pour les modèles de langage récursifs (RLM), prenant en charge divers environnements sandbox.
Une implémentation compacte de SGLang, conçue pour démystifier les complexités des systèmes modernes de service de LLM.
📚Une liste organisée d'articles impressionnants sur l'inférence LLM/VLM avec codes : Flash-Attention, Paged-Attention, WINT8/4, Parallélisme, etc.🎉
Superduper : Framework de bout en bout pour la création d'applications et d'agents IA personnalisés.
fastllm est une bibliothèque d’inférence de grands modèles de langage haute performance, sans dépendance à un backend, qui vous aide à exécuter efficacement des inférences sur la plupart des appareils.
DeepSeek-V2 : un modèle linguistique Mixture-of-Experts puissant, économique et efficace
Eko (Eko Keep Operating) - Créez des flux de travail agentiques prêts pour la production avec le langage naturel - eko.fellou.ai
RuVector fournit une prise de décision et une mémoire d’agents haute performance en temps réel, une IA auto-apprenante et une base de données GNN vectorielle développée en Rust.
Foire aux questions
Quel est le dépôt #llm-inference le plus populaire sur GitHub ?
Le projet #llm-inference open source le mieux classé sur GitHub est deepseek-ai/DeepSeek-V3, avec 104,417 étoiles.
Quels langages de programmation sont les plus utilisés dans les dépôts #llm-inference ?
Parmi les projets #llm-inference les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, C++, Rust, Go.
Comment le classement des dépôts #llm-inference est-il calculé ?
Nous suivons 202 dépôts open source actifs associés à #llm-inference (500+ étoiles), totalisant 1,046,424 étoiles, avec une moyenne de 5,180 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.