#vllm Репозитории
Всего репозиториев: 134
Оцените и улучшите развертывания ваших LLM для реальных потребностей в выводе
Открытые модели для принятия решений от 0,8B до 27B: откалиброванная вероятность для каждого варианта за один проход и краткое рассуждение только при неуверенности. Движок для vLLM, llama.cpp и MLX.
Эффективность на уровне посттренировочной квантования, точность на уровне квантования с учетом обучения
Высокопроизводительный сервер логического вывода LLM, совместимый с OpenAI и Anthropic, для Apple Silicon. Нативный MLX, непрерывная пакетная обработка, мультимодальные модели, вызовы инструментов MCP и поддержка Claude Code.
Превратите любую LLM в модель принятия решений в стиле Jev: типизированные решения, реальные вероятности, без обучения. (Постоянно обновляется; приветствуются любые сообщения об ошибках и запросы на PR)
Готовые конфигурации компьютеров для ИИ с открытым исходным кодом: от настольных ПК с 2 GPU до серверов с 8 GPU. CAD-файлы, спецификации, настройки BIOS и инструкции по сборке. Закажите комплект корпуса с райзерами PCIe или попросите нас бесплатно проверить совместимость.
Официальный репозиторий статьи «Масштабирование создания синтетических данных с помощью 1 000 000 000 персон»
Мультимодальная структура обучения с подкреплением для моделей диффузии и омни
Крупные модели, вдохновленные спайковой активностью мозга, интегрирующие гибридное эффективное внимание, модули MoE и спайковое кодирование в свою архитектуру
Инструментарий для квантования (сжатия) моделей LLM с поддержкой аппаратного ускорения для Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend и процессоров Intel/AMD/Apple через HF, vLLM и SGLang.
Оператор инференса ИИ для Kubernetes. Самый простой способ развертывания ML-моделей в продакшене. Поддерживает VLM, LLM, эмбеддинги и преобразование речи в текст.
10-недельная дорожная карта по обслуживанию и оптимизации инференса LLM — по 30 минут в день. vLLM, SGLang, квантизация, спекулятивное декодирование, бенчмаркинг.
☁️ API-шлюз корпоративного уровня, который поможет вам отслеживать и устанавливать лимиты расходов или скорости для каждого ключа API. Получите детализированный контроль доступа и мониторинг для каждого пользователя, приложения или среды. Поддерживает OpenAI, Azure OpenAI, Anthropic, vLLM и LLM с открытым исходным кодом.
Создайте свой собственный высокопроизводительный движок вывода LLM на C++ и CUDA - уменьшенная версия vLLM
Kimi-VL: Модель Vision-Language Mixture-of-Experts для мультимодального рассуждения, понимания длинного контекста и мощных возможностей агента
Фреймворк MemAgent, который может быть экстраполирован до 3,5 млн., вместе с фреймворком обучения для обучения RL любого рабочего процесса агента.
UniRL — это фреймворк для обучения с подкреплением унифицированных мультимодальных моделей
Прозрачная обобщенная модель для целостного медико-визуально-языкового понимания
CLI-инструмент для оценки требований к памяти инференса для моделей Hugging Face, написанный на Python.
Открытые мультимодальные модели принятия решений размером от 0,8B до 27B для работы с текстом, изображениями и видео. Оценивайте собственные варианты с помощью вероятностей и определяйте местоположение с помощью ограничивающих рамок вместо генерации текста. Бесплатный API, ONNX, GGUF, vLLM и SGLang; код для дообучения включён.
Серия открытых моделей Spark-x2.6. Расширяя границы агентных возможностей моделей на устройстве
Заметки по LLM, включая вывод модели, структуру модели Transformer и заметки по анализу кода фреймворка LLM.
Локальное, офлайн (после первоначальной настройки), портативное программное обеспечение OCR, которое может обрабатывать изображения и PDF-файлы, используя DeepSeek-OCR-2 AI (работающий непосредственно на вашем компьютере).
Этот репозиторий содержит учебные пособия и примеры для Triton Inference Server
Halo — это фреймворк с открытым исходным кодом, разработанный White Circle для обучения больших языковых и мультимодальных моделей
Сквозная документация по настройке собственного локального и полностью частного LLM-сервера на Debian. Оснащен чатом, веб-поиском, RAG, управлением моделями, MCP-серверами, генерацией изображений и TTS.
Рабочая среда для анализа данных на базе ИИ, созданная с упором на прозрачность, воспроизводимость и контроль со стороны пользователя. Изучайте код и доказательства, лежащие в основе результатов, проверяйте вычисления, повторно выполняя их, и выбирайте из широкого спектра моделей, включая локальные модели с открытыми весами.
Расширить OpenRLHF для поддержки обучения LMM RL с целью воспроизведения DeepSeek-R1 в мультимодальных задачах.
Tencent Hunyuan A13B (сокращенно Hunyuan-A13B) — инновационная и открытая LLM, построенная на основе детальной архитектуры MoE.
Открытые модели передового уровня на бесплатной TPU Kaggle v5e-8: GLM-5.3-Flash 320B MoE (~165 токенов/с, на нашем собственном движке JAX) и Qwen3.8-27B bf16 (~130 токенов/с), контекст 262k и кэширование префиксов. Работает с Claude Code, Codex, opencode и pi.
Seed-Coder — это семейство легковесных LLM с открытым исходным кодом для кода, включающее базовые, инструктивные и логические модели, разработанное ByteDance Seed.