#inference Репозитории
Всего репозиториев: 144
CubeStudio — это открытая облачная универсальная платформа для машинного обучения/глубокого обучения/больших моделей ИИ/MaaS/MLOps/платформа искусственного интеллекта/платформа обучения и вывода, охватывающая полный конвейер алгоритмов, мультитенантность, платформу аренды вычислительных мощностей, ретрансляцию токенов, оркестрацию конвейеров задач с помощью перетаскивания, распределенное обучение на нескольких машинах с несколькими картами, поиск гиперпараметров, сервисы вывода, виртуализацию VGPU, взаимодействие облако-край-устройство, периферийные вычисления, автоматизированную платформу аннотации, тонкую настройку SFT/модель вознаграждения/обучение с подкреплением для больших моделей, таких как DeepSeek, многомашинный вывод для больших моделей с vLLM/Ollama/MindIE, интеллектуальные агенты LLMOps с частной базой знаний, рынок моделей ИИ, поддержка планирования отечественных гетерогенных вычислительных мощностей (Ascend, Cambricon, Hygon, Moore Threads, Muxi и др.), поддержка IB/RoCE/RDMA и поддержка Xinchuang.
Нативный сервер инференса LLM для Apple Silicon. Совместим с API OpenAI и Anthropic. Python не требуется. Приложение macOS с бэкендом на Zig и фронтендом на Swift, поддерживающее генерацию чатов, музыки, голоса и видео.
Высокоэффективные операторы вывода нейронных сетей с плавающей запятой для мобильных устройств, серверов и Интернета
Превратите любой компьютер или периферийное устройство в центр управления вашими проектами компьютерного зрения.
Управляет унифицированным доступом к генеративным сервисам ИИ, построенным на Envoy Gateway
Единый уровень оркестрации для разнородных вычислительных ресурсов ИИ. Он стандартизирует управление вычислительными ресурсами и запуск обучения и инференса в GPU-облаках, Kubernetes, виртуальных машинах или кластерах на физических серверах.
Запустить LLM с 1 миллиардом параметров на плате стоимостью 10 долларов с 256 МБ ОЗУ.
Magenta.js: Генерация музыки и искусства с помощью машинного обучения в браузере
MII обеспечивает низкую задержку и высокую пропускную способность при выводе благодаря DeepSpeed.
Высокопроизводительная среда выполнения для обслуживания интерактивных систем сверхинтеллекта
Открытые модели для принятия решений от 0,8B до 27B: откалиброванная вероятность для каждого варианта за один проход и краткое рассуждение только при неуверенности. Движок для vLLM, llama.cpp и MLX.
Маршрутизируйте, управляйте и анализируйте свои запросы LLM у нескольких поставщиков с помощью унифицированного API-интерфейса.
Эффективный, масштабируемый и высокопроизводительный сервер вывода CPU/GPU для трансформерных моделей 🤗 Hugging Face 🚀
Открытый движок инференса LLM для AWS Trainium: мегаядра NKI, контекст на 1 млн токенов и API, совместимый с OpenAI. От RunAnywhere.
Высокопроизводительный механизм инференса для моделей LLM, VLM и DiT, оптимизированный для различных ИИ-ускорителей. Проект размещён в фонде OpenAtom Foundation.
DELTA — это платформа обработки естественного языка и речи на основе глубокого обучения. LF AI & DATA Projects: https://lfaidata.foundation/projects/delta/
Экспортер GPU NVIDIA для Prometheus с использованием бинарного файла nvidia-smi ИЛИ NVML
быстрая и удобная среда выполнения для инференса трансформеров (Bert, Albert, GPT2, Decoders и т. д.) на CPU и GPU.
Навык агента для поэтапной оптимизации скорости обслуживания локальных LLM (декодирование, спекулятивное декодирование, префилл, KV, запуск, TTFT) на любом оборудовании и при любой квантовке
RTP-LLM: высокопроизводительный движок вывода LLM от Alibaba для различных приложений.
Высокопроизводительное, модульное, безопасное по памяти и готовое к эксплуатации решение для инференса, приема данных и индексирования, разработанное на Rust 🦀
Qualcomm® AI Hub Models — это наша коллекция передовых моделей машинного обучения, оптимизированных для обеспечения производительности (задержка, память и т. д.) и готовых к развертыванию на устройствах Qualcomm®.
Пакет для причинно-следственного вывода в графах и в парных настройках. Включает инструменты для восстановления структуры графа и зависимостей.
Распределяйте и запускайте рабочие нагрузки ИИ на Kubernetes «волшебным» образом на Python, подобно PyTorch для инфраструктуры машинного обучения (ML).
Создайте свой собственный высокопроизводительный движок вывода LLM на C++ и CUDA - уменьшенная версия vLLM
Запускайте, предоставляйте, запрашивайте и редактируйте модели ИИ — среда выполнения моделей на Rust, построенная на основе VINDEX3, исполняемого и доступного для анализа формата моделей.
План чтения по инженерии производительности CPU: от одной инструкции до инференса в продакшене. Только первичные источники, с запускаемым бенчмарком для каждого раздела.
Запускайте Laya — модель принятия решений System-1 с открытым исходным кодом, совместимую с Jev, — из Node.js / TypeScript через ONNX Runtime
Запускайте MoE-модели, превышающие объём вашей оперативной памяти. MoE передового уровня на телефоне, ноутбуке или edge-устройстве. Без потерь, на стандартном llama.cpp. Адаптивный потоковый оптимизатор. Любое оборудование, любая ОС, любая модель и квантование — через локальный сервер, совместимый с OpenAI.
MLX Studio — самый простой способ запускать большие языковые модели на Mac. Универсальный движок.
Ориентированный на пропускную способность высокопроизводительный фреймворк для обслуживания LLM
Масштабируемый сервер вывода для моделей, оптимизированных с помощью OpenVINO™
Bolt — это библиотека глубокого обучения с высокой производительностью и гетерогенной гибкостью.