#inference Репозитории
Откройте для себя 144 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #inference, с общим числом 870,238 звёзд (в среднем 6,043 на проект). Лидером этой темы является vllm-project/vllm, набравший 97,302 звёзд.
Всего репозиториев: 144
Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM
Ultralytics YOLOv5 в PyTorch для обнаружения объектов, сегментации экземпляров, классификации, обучения и экспорта.
DeepSpeed — это библиотека оптимизации для глубокого обучения, которая делает распределённое обучение и вывод простыми, эффективными и результативными.
SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых моделей и мультимодальных моделей.
Кросс-платформенные, настраиваемые решения ML для живых и потоковых медиа.
ncnn — это высокопроизводительный фреймворк для инференса нейронных сетей, оптимизированный для мобильных платформ
FreeToken переносит обслуживание моделей масштаба дата-центра на ваш рабочий стол. Запускайте масштабные модели локально, быстро и эффективно.
🎨 Исчерпывающая библиотека сопоставления с образцом для TypeScript с интеллектуальным выводом типов.
NVIDIA® TensorRT™ — это SDK для высокопроизводительного вывода глубокого обучения на GPU NVIDIA. Этот репозиторий содержит компоненты с открытым исходным кодом TensorRT.
OpenVINO™ — это набор инструментов с открытым исходным кодом для оптимизации и развертывания вывода ИИ.
Сервер вывода Triton предоставляет оптимизированное решение для вывода в облаке и на краю.
Примеры 📓 Jupyter notebooks, демонстрирующие, как строить, обучать и развертывать модели машинного обучения с использованием 🧠 Amazon SageMaker.
Реализация YOLOv3, YOLOv3-SPP и YOLOv3-tiny на PyTorch для обнаружения объектов в реальном времени с поддержкой обучения, валидации, инференса и экспорта в различные форматы.
Открытая платформа для инференса языковых, визуальных, эмбеддинговых моделей, моделей переранжирования, изображений, аудио и видео. Развертывайте несколько движков на разнородном оборудовании — от ноутбука до распределенного кластера. Предоставляйте модели через API, совместимые с OpenAI.
Легко дообучайте (SFT/RL), оценивайте и развёртывайте Qwen, Gemma или любую открытую агентную LLM/VLM!
Руководство Hello AI World по развертыванию сетей вывода глубокого обучения и примитивов глубокого зрения с помощью TensorRT и NVIDIA Jetson.
Фреймворк для эффективной инференции модели с использованием омнимодальных моделей
Нативная среда выполнения MLX для типизированных моделей принятия решений Laya — короткие решения за 7–14 мс на M3 Max. Без генерации текста, PyTorch и облачных API.
Mooncake — это платформа обслуживания для Kimi, ведущего LLM-сервиса, предоставляемого Moonshot AI.
Открытый программируемый слой принятия решений для моделей и вычислений.
Инструментарий для устойчивости к атакам антагонистов (ART) - Библиотека Python для безопасности машинного обучения - Обход, Отравление, Извлечение, Вывод - Красная и Синяя команды
Менеджер GPU-кластеров для высокопроизводительного обслуживания моделей ИИ (vLLM, SGLang) и предоставления GPU-инстансов по запросу с доступом по SSH.
Superduper: комплексная платформа для создания пользовательских ИИ-приложений и агентов.
cube studio Open-Source Cloud-Native Универсальная AI-платформа для машинного обучения/глубокого обучения/больших моделей, полный процесс алгоритмической цепочки MLOps, платформа аренды вычислительных мощностей, онлайн-разработка в Notebook, оркестровка конвейера задач методом перетаскивания, распределенное обучение на нескольких машинах с несколькими GPU, поиск гиперпараметров, виртуализация VGPU для сервиса инференса, граничные вычисления, автоматизированная разметка на платформе разметки, дообучение SFT больших моделей (deepseek и др.)/модель вознаграждения/обучение с подкреплением, многомашинный инференс больших моделей (vllm/ollama/mindie и др.), частная база знаний, маркетплейс AI-моделей, поддержка отечественных CPU/GPU/NPU экосистемы Ascend, поддержка RDMA, поддержка распределенных фреймворков (pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano и др.)
Единая структура логического вывода и постобработки для ускоренной генерации видео.
TNN: разработанный Tencent Youtu Lab и Guangying Lab, унифицированный фреймворк для инференса глубокого обучения для мобильных устройств, настольных компьютеров и серверов. TNN отличается несколькими выдающимися особенностями, включая кроссплатформенность, высокую производительность, сжатие моделей и обрезку кода. Основываясь на ncnn и Rapidnet, TNN еще больше усиливает поддержку и оптимизацию производительности для мобильных устройств, а также использует преимущества хорошей расширяемости и высокой производительности существующих усилий по разработке открытого исходного кода.
Предобученные модели глубокого обучения и демо (высокое качество и чрезвычайно быстро)
Любая модель. Любое оборудование. Без компромиссов. Создано с помощью @ziglang / @openxla / MLIR / @bazelbuild
Библиотека с открытым исходным кодом, содержащая оптимизированные операции глубокого обучения (матричное умножение, свёртка и механизм внимания) для процессоров (x64, AArch64, RISC-V) и графических процессоров Intel. Используется в PyTorch, TensorFlow, OpenVINO и ONNX Runtime.
CSGHub — это совершенно новая Open-Source платформа для управления LLM, разработанная командой OpenCSG. Она предлагает как Open-Source, так и локальные/SaaS решения с функциями, сравнимыми с Hugging Face. Получите полный контроль над жизненным циклом LLM, наборов данных и агентов благодаря совместимой с Hugging Face SDK на Python. Присоединяйтесь к нам! ⭐️
Создавайте видео на уже имеющемся у вас компьютере. FreeVideo запускает MiniMax H3 всего с 8 ГБ видеопамяти и 16 ГБ оперативной памяти, адаптируя путь ускорения под ваше оборудование.
Высокопроизводительный набор инструментов для инференса и развертывания LLM и VLM на базе PaddlePaddle
Сервер логического вывода с открытым исходным кодом и производственный кластер для всех моделей, необходимых вашему агенту.
🚀 Ускорьте вывод и обучение 🤗 Transformers, Diffusers, TIMM и Sentence Transformers с помощью простых в использовании инструментов аппаратной оптимизации
Отличные проекты для ярмарок вакансий, осеннего и весеннего набора, стажировок! Пошаговое руководство по созданию высокопроизводительной библиотеки для инференса глубокого обучения, поддерживающей инференс больших моделей, таких как Llama2, Unet, YoloV5, Resnet и других. Реализуйте высокопроизводительную библиотеку для инференса глубокого обучения шаг за шагом.
Часто задаваемые вопросы
Какой репозиторий по теме #inference наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #inference на GitHub — vllm-project/vllm, набравший 97,302 звёзд. Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM
Какие языки программирования чаще всего используются в репозиториях по теме #inference?
Среди наиболее высоко оценённых проектов по теме #inference на GitHub чаще всего используются языки программирования Python, C++, TypeScript, Jupyter Notebook.
Как рассчитывается рейтинг репозиториев по теме #inference?
Мы отслеживаем 144 активных репозиториев с открытым исходным кодом, отмеченных тегом #inference (500 и более звёзд), с общим числом 870,238 звёзд и в среднем 6,043 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.