#inference Dépôts
144 dépôts au total
CubeStudio est une plateforme open source cloud-native tout-en-un pour l'apprentissage automatique/l'apprentissage profond/les grands modèles d'IA/MaaS/MLOps/plateforme d'intelligence artificielle/plateforme d'entraînement et d'inférence, couvrant le pipeline complet des algorithmes, la multi-location, la plateforme de location de puissance de calcul, le relais de tokens, l'orchestration de pipelines de flux de travail par glisser-déposer, l'entraînement distribué multi-machine multi-carte, la recherche d'hyperparamètres, les services d'inférence, la virtualisation VGPU, la collaboration cloud-edge-device, le calcul en périphérie, la plateforme d'annotation automatisée, le fine-tuning SFT/le modèle de récompense/l'entraînement par apprentissage par renforcement pour les grands modèles comme DeepSeek, l'inférence multi-machine pour les grands modèles avec vLLM/Ollama/MindIE, les agents intelligents LLMOps avec base de connaissances privée, le marché de modèles d'IA, le support pour l'ordonnancement de puissance de calcul hétérogène nationale (Ascend, Cambricon, Hygon, Moore Threads, Muxi, etc.), le support pour IB/RoCE/RDMA et le support Xinchuang.
Serveur d’inférence LLM natif pour Apple Silicon. Compatible avec les API d’OpenAI et d’Anthropic. Sans Python. Application macOS avec backend en Zig et frontend en Swift, prenant en charge la génération de conversations, de musique, de voix et de vidéos.
Opérateurs d'inférence pour réseaux neuronaux à virgule flottante à haute efficacité pour mobile, serveur et Web
Transformez n'importe quel ordinateur ou appareil edge en un centre de commande pour vos projets de vision par ordinateur.
Gère l'accès unifié aux services d'IA générative construits sur Envoy Gateway
Une couche d’orchestration unifiée pour des ressources de calcul IA hétérogènes. Elle standardise la gestion des ressources de calcul ainsi que l’exécution de l’entraînement et de l’inférence sur des clouds GPU, Kubernetes, des machines virtuelles ou des clusters bare metal.
Exécuter un LLM de 1 milliard de paramètres sur une carte de 10 $ avec 256 Mo de RAM.
Magenta.js : Génération de musique et d'art avec l'apprentissage automatique dans le navigateur
MII permet une inférence à faible latence et à haut débit, alimentée par DeepSpeed.
Environnement d’exécution hautes performances pour le service de systèmes de superintelligence interactifs
Modèles de décision ouverts de 0,8B à 27B : une probabilité calibrée pour chaque option en un seul passage, et un bref raisonnement uniquement en cas d’incertitude. Moteur pour vLLM, llama.cpp et MLX.
Routage, gestion et analyse de vos requêtes LLM sur plusieurs fournisseurs avec une interface API unifiée.
Serveur d'inférence CPU/GPU efficace, évolutif et de niveau entreprise pour les modèles transformer de 🤗 Hugging Face 🚀
Le moteur d’inférence LLM open source pour AWS Trainium : méganoyaux NKI, contexte de 1 million de tokens et API compatible avec OpenAI. Par RunAnywhere.
Un moteur d’inférence haute performance pour les modèles LLM, VLM et DiT, optimisé pour divers accélérateurs d’IA. Il est hébergé par la fondation OpenAtom.
DELTA est une plateforme de traitement du langage naturel et de la parole basée sur l'apprentissage profond. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/
Exportateur de GPU NVIDIA pour Prometheus utilisant le binaire nvidia-smi OU NVML
un environnement d'exécution rapide et convivial pour l'inférence de transformeurs (Bert, Albert, GPT2, Décoders, etc.) sur CPU et GPU.
Compétence d’agent pour optimiser progressivement la vitesse de service des LLM locaux (décodage, décodage spéculatif, préremplissage, KV, démarrage, TTFT) sur tout type de matériel et de quantification
RTP-LLM : Le moteur d'inférence LLM haute performance d'Alibaba pour diverses applications.
Déployez un service d'inférence ML avec un budget limité en moins de 10 lignes de code.
Inférence, ingestion et indexation hautement performantes, modulaires, sécurisées en mémoire et prêtes pour la production, construites en Rust 🦀
Qualcomm® AI Hub Models est notre collection de modèles d'apprentissage automatique de pointe optimisés pour les performances (latence, mémoire, etc.) et prêts à être déployés sur les appareils Qualcomm®.
Paquet pour l'inférence causale dans les graphes et dans les paramètres par paires. Des outils pour la récupération de la structure du graphe et des dépendances sont inclus.
Distribuez et exécutez des charges de travail d'IA sur Kubernetes de manière magique en Python, comme PyTorch pour l'infrastructure ML.
Construisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version plus petite de vLLM
Exécutez, hébergez, interrogez et modifiez des modèles d’IA — un environnement d’exécution de modèles en Rust basé sur VINDEX3, un format de modèle exécutable et inspectable.
Un parcours de lecture sur l’ingénierie des performances des CPU, d’une seule instruction jusqu’à l’inférence en production. Uniquement des sources primaires, avec un benchmark exécutable pour chaque section.
Exécutez Laya, le modèle décisionnel System-1 open source compatible avec Jev, depuis Node.js / TypeScript via ONNX Runtime
Exécutez des modèles MoE plus volumineux que votre RAM. Des MoE de pointe sur un téléphone, un ordinateur portable ou un appareil edge. Sans perte, avec llama.cpp standard. Un optimiseur adaptatif en streaming. Tout matériel, tout système d’exploitation, tout modèle et toute quantification, via un serveur local compatible avec OpenAI.
MLX Studio - Le moyen le plus simple d’exécuter des LLM sur votre Mac. Un moteur tout-en-un.
Un serveur d'inférence scalable pour les modèles optimisés avec OpenVINO™
Bolt est une bibliothèque d'apprentissage profond avec des performances élevées et une flexibilité hétérogène.