#llm-inference Dépôts
202 dépôts au total
Une API unifiée, légère et à faible dépendance pour utiliser tous les modèles courants de réordonnancement et de cross-encoder.
Un moteur d’inférence haute performance pour les modèles LLM, VLM et DiT, optimisé pour divers accélérateurs d’IA. Il est hébergé par la fondation OpenAtom.
Configurations d’ordinateurs IA open source, des PC de bureau à 2 GPU aux serveurs à 8 GPU : fichiers CAO, nomenclature, BIOS et guides de montage. Procurez-vous le kit de boîtier avec risers PCIe ou demandez-nous une vérification gratuite de compatibilité.
[ICML 2023] SmoothQuant : Quantification post-entraînement précise et efficace pour les grands modèles linguistiques
Accueil de "How To Scale Your Model", un court manuel de style blog sur la mise à l'échelle des LLM sur TPU
Liste de logiciels permettant de rechercher sur le web avec l'aide de l'IA : https://hf.co/spaces/felladrin/awesome-ai-web-search
Exécutez des LLM locaux comme llama, deepseek-distill, kokoro et plus encore dans votre navigateur
Une collection organisée d'outils de test de pénétration de premier ordre et d'utilitaires de productivité dans plusieurs domaines. Rejoignez-nous pour explorer, contribuer et améliorer votre boîte à outils de piratage !
📰 Articles et blogs incontournables sur le décodage spéculatif ⚡️
Exécutez des modèles dont la taille dépasse la capacité de votre RAM ou VRAM en diffusant les experts MoE depuis un SSD. Basé sur llama.cpp.
Une feuille de route sur 10 semaines, à raison de 30 minutes par jour, pour le déploiement et l’optimisation de l’inférence des LLM. vLLM, SGLang, quantification, décodage spéculatif et évaluation comparative.
Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version plus petite de vLLM
Votre iPhone aide votre Mac à exécuter un modèle de 27 milliards de paramètres : lecture plus rapide des invites et davantage de contexte via un câble USB-C
Rationalise et simplifie la conception des invites pour les développeurs et les utilisateurs non techniques grâce à une approche low-code.
Flash Attention en ~100 lignes de CUDA (passage avant uniquement)
Checkpoint-engine est un middleware simple pour mettre à jour les poids du modèle dans les moteurs d'inférence LLM
OpenAlpha_Evolve est un framework Python open-source inspiré par les recherches révolutionnaires sur les agents de codage autonomes tels qu'AlphaEvolve de DeepMind.
"AI-Compass" guidera la communauté pour naviguer dans l'océan des technologies IA. Que vous soyez débutant ou développeur confirmé, vous trouverez ici les voies vers toutes les grandes orientations de l'IA. Ce projet vise à aider les développeurs à comprendre de façon systématique les concepts clés de l'IA, les technologies majeures, les tendances de pointe, et, par la pratique, à maîtriser l’ensemble du processus, de la théorie à la mise en œuvre.
jevos : une alternative open source à Jev et Microsoft-Decision-1. Des décisions par oui ou non, des choix et des scores avec des probabilités, sur le processeur de votre ordinateur portable.
Implémentation C++ pure de plusieurs modèles pour le chat en temps réel sur votre ordinateur (CPU et GPU)
LeaderWorkerSet et DisaggregatedSet : API Kubernetes pour le service d’IA distribué et désagrégé
Un moteur d'accélération d'inférence LLM hautement optimisé pour Llama et ses variantes.
Notes sur les LLM, y compris l'inférence de modèle, la structure du modèle Transformer et les notes d'analyse du code de framework LLM.
LLM.swift est une bibliothèque simple et lisible qui vous permet d'interagir facilement avec de grands modèles linguistiques localement pour macOS, iOS, watchOS, tvOS et visionOS.