Git Stars Git Stars

#vllm Репозитории

133
Всего репозиториев
554,542
Всего звезд
4,169
Среднее количество звезд на репозиторий
Языки программирования: Python Go HTML C++

Всего репозиториев: 134

51
allenai/Olmo-core

Строительные блоки PyTorch для экосистемы OLMo

allenai
⭐ 1,810 Python 👤 allenai Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-03-23
52
vllm-project/guidellm

Оцените и улучшите развертывания ваших LLM для реальных потребностей в выводе

vllm-project
⭐ 1,800 Python 👤 vllm-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-05-29
53
StartLuxLabs/StartLux-Decision

Открытые модели для принятия решений от 0,8B до 27B: откалиброванная вероятность для каждого варианта за один проход и краткое рассуждение только при неуверенности. Движок для vLLM, llama.cpp и MLX.

StartLuxLabs
⭐ 1,780 Python 👤 StartLuxLabs Organization 🕐 Обновлено 2026-10-23 📅 Создано 2026-09-29
54
intel/auto-round

Эффективность на уровне посттренировочной квантования, точность на уровне квантования с учетом обучения

intel
⭐ 1,706 Python 👤 intel Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-01-04
56
waybarrios/vllm-mlx

Высокопроизводительный сервер логического вывода LLM, совместимый с OpenAI и Anthropic, для Apple Silicon. Нативный MLX, непрерывная пакетная обработка, мультимодальные модели, вызовы инструментов MCP и поддержка Claude Code.

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 Обновлено 2026-11-07 📅 Создано 2025-12-06
57
nokia-applied-research/AnyJev

Превратите любую LLM в модель принятия решений в стиле Jev: типизированные решения, реальные вероятности, без обучения. (Постоянно обновляется; приветствуются любые сообщения об ошибках и запросы на PR)

nokia-applied-research
⭐ 1,632 Python 👤 nokia-applied-research Organization 🕐 Обновлено 2026-10-21 📅 Создано 2026-09-21
58
autonomous-ai/Personal-AI-Computer

Готовые конфигурации компьютеров для ИИ с открытым исходным кодом: от настольных ПК с 2 GPU до серверов с 8 GPU. CAD-файлы, спецификации, настройки BIOS и инструкции по сборке. Закажите комплект корпуса с райзерами PCIe или попросите нас бесплатно проверить совместимость.

autonomous-ai
⭐ 1,601 👤 autonomous-ai Organization 🕐 Обновлено 2026-11-05 📅 Создано 2025-08-22
⭐ 1,599 Python 👤 databricks Organization 🕐 Обновлено 2026-03-25 📅 Создано 2023-01-26
61
tencent-ailab/persona-hub

Официальный репозиторий статьи «Масштабирование создания синтетических данных с помощью 1 000 000 000 персон»

tencent-ailab
⭐ 1,585 Python 👤 tencent-ailab User 🕐 Обновлено 2025-02-19 📅 Создано 2024-06-22
62
verl-project/verl-omni

Мультимодальная структура обучения с подкреплением для моделей диффузии и омни

verl-project
⭐ 1,560 Python 👤 verl-project Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-04-21
64
BICLab/SpikingBrain-7B

Крупные модели, вдохновленные спайковой активностью мозга, интегрирующие гибридное эффективное внимание, модули MoE и спайковое кодирование в свою архитектуру

BICLab
⭐ 1,432 Python 👤 BICLab User 🕐 Обновлено 2026-05-14 📅 Создано 2025-09-03
65
MoonshotAI/Kimi-Dev

LLM с открытым исходным кодом для задач программной инженерии

MoonshotAI
⭐ 1,357 Python 👤 MoonshotAI Organization 🕐 Обновлено 2025-09-30 📅 Создано 2025-06-16
66
ModelCloud/GPTQModel

Инструментарий для квантования (сжатия) моделей LLM с поддержкой аппаратного ускорения для Nvidia CUDA, AMD ROCm, Intel XPU, Tenstorrent, NPU Huawei Ascend и процессоров Intel/AMD/Apple через HF, vLLM и SGLang.

ModelCloud
⭐ 1,294 Python 👤 ModelCloud Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-06-17
67
kubeai-project/kubeai

Оператор инференса ИИ для Kubernetes. Самый простой способ развертывания ML-моделей в продакшене. Поддерживает VLM, LLM, эмбеддинги и преобразование речи в текст.

kubeai-project
⭐ 1,294 Go 👤 kubeai-project Organization 🕐 Обновлено 2026-11-16 📅 Создано 2023-10-21
⭐ 1,293 Python 👤 Visual-Agent Organization 🕐 Обновлено 2025-11-20 📅 Создано 2025-03-15
69
OpenBuddy/OpenBuddy

Открытый многоязычный чат-бот для всех

OpenBuddy
⭐ 1,274 👤 OpenBuddy Organization 🕐 Обновлено 2025-06-08 📅 Создано 2023-04-26
70
patchy631/time-to-first-token

10-недельная дорожная карта по обслуживанию и оптимизации инференса LLM — по 30 минут в день. vLLM, SGLang, квантизация, спекулятивное декодирование, бенчмаркинг.

patchy631
⭐ 1,245 HTML 👤 patchy631 User 🕐 Обновлено 2026-08-14 📅 Создано 2026-08-02
71
Ksuriuri/index-tts-vllm

Добавлена поддержка vLLM в IndexTTS для ускорения вывода.

Ksuriuri
⭐ 1,244 Python 👤 Ksuriuri User 🕐 Обновлено 2026-04-13 📅 Создано 2025-05-03
72
eagle-hq/EAGLE-4

Официальный код инференса EAGLE-4

eagle-hq
⭐ 1,220 Python 👤 eagle-hq Organization 🕐 Обновлено 2026-11-13 📅 Создано 2026-10-20
73
bricks-cloud/BricksLLM

☁️ API-шлюз корпоративного уровня, который поможет вам отслеживать и устанавливать лимиты расходов или скорости для каждого ключа API. Получите детализированный контроль доступа и мониторинг для каждого пользователя, приложения или среды. Поддерживает OpenAI, Azure OpenAI, Anthropic, vLLM и LLM с открытым исходным кодом.

bricks-cloud
⭐ 1,210 Go 👤 bricks-cloud Organization 🕐 Обновлено 2025-01-05 📅 Создано 2023-07-18
74
jmaczan/tiny-vllm

Создайте свой собственный высокопроизводительный движок вывода LLM на C++ и CUDA - уменьшенная версия vLLM

jmaczan
⭐ 1,207 C++ 👤 jmaczan User 🕐 Обновлено 2026-11-15 📅 Создано 2026-02-09
75
MoonshotAI/Kimi-VL

Kimi-VL: Модель Vision-Language Mixture-of-Experts для мультимодального рассуждения, понимания длинного контекста и мощных возможностей агента

MoonshotAI
⭐ 1,203 👤 MoonshotAI Organization 🕐 Обновлено 2025-07-15 📅 Создано 2025-04-09
76
BytedTsinghua-SIA/MemAgent

Фреймворк MemAgent, который может быть экстраполирован до 3,5 млн., вместе с фреймворком обучения для обучения RL любого рабочего процесса агента.

BytedTsinghua-SIA
⭐ 1,118 Python 👤 BytedTsinghua-SIA Organization 🕐 Обновлено 2026-05-12 📅 Создано 2025-06-24
⭐ 1,090 Python 👤 thinking-machines-lab Organization 🕐 Обновлено 2025-11-04 📅 Создано 2025-09-10
78
prometheus-eval/prometheus-eval

Оцените ответ вашего LLM с помощью Prometheus и GPT4 💯

prometheus-eval
⭐ 1,087 Python 👤 prometheus-eval Organization 🕐 Обновлено 2025-04-25 📅 Создано 2024-04-18
79
GAIR-NLP/LIMO

[COLM 2025] LIMO: Меньше значит больше для рассуждений

GAIR-NLP
⭐ 1,081 Python 👤 GAIR-NLP Organization 🕐 Обновлено 2025-07-30 📅 Создано 2025-02-04
80
Pokee-AI/PokeeResearchOSS

Pokee Deep Research Model Open Source Repo

Pokee-AI
⭐ 1,075 Python 👤 Pokee-AI Organization 🕐 Обновлено 2025-10-22 📅 Создано 2025-10-17
81
Tencent-Hunyuan/UniRL

UniRL — это фреймворк для обучения с подкреплением унифицированных мультимодальных моделей

Tencent-Hunyuan
⭐ 1,051 Python 👤 Tencent-Hunyuan Organization 🕐 Обновлено 2026-11-16 📅 Создано 2026-06-08
83
ZJUI-AI4H/Hulu-Med

Прозрачная обобщенная модель для целостного медико-визуально-языкового понимания

ZJUI-AI4H
⭐ 1,031 Python 👤 ZJUI-AI4H User 🕐 Обновлено 2026-08-30 📅 Создано 2025-10-08
84
convergence-ai/proxy-lite

Мини-версия нашего прокси-ассистента с открытыми весами.

convergence-ai
⭐ 989 Python 👤 convergence-ai Organization 🕐 Обновлено 2025-02-26 📅 Создано 2025-02-10
86
alvarobartt/hf-mem

CLI-инструмент для оценки требований к памяти инференса для моделей Hugging Face, написанный на Python.

alvarobartt
⭐ 956 Python 👤 alvarobartt User 🕐 Обновлено 2026-11-20 📅 Создано 2025-12-22
87
Valen-Team/Valen

Открытые мультимодальные модели принятия решений размером от 0,8B до 27B для работы с текстом, изображениями и видео. Оценивайте собственные варианты с помощью вероятностей и определяйте местоположение с помощью ограничивающих рамок вместо генерации текста. Бесплатный API, ONNX, GGUF, vLLM и SGLang; код для дообучения включён.

Valen-Team
⭐ 932 Python 👤 Valen-Team Organization 🕐 Обновлено 2026-11-15 📅 Создано 2026-09-23
88
XHToken/Spark-X2.6

Серия открытых моделей Spark-x2.6. Расширяя границы агентных возможностей моделей на устройстве

XHToken
⭐ 927 👤 XHToken Organization 🕐 Обновлено 2026-11-04 📅 Создано 2026-08-24
89
harleyszhang/llm_note

Заметки по LLM, включая вывод модели, структуру модели Transformer и заметки по анализу кода фреймворка LLM.

harleyszhang
⭐ 897 Python 👤 harleyszhang User 🕐 Обновлено 2026-08-19 📅 Создано 2024-09-18
90
th1nhhdk/local_ai_ocr

Локальное, офлайн (после первоначальной настройки), портативное программное обеспечение OCR, которое может обрабатывать изображения и PDF-файлы, используя DeepSeek-OCR-2 AI (работающий непосредственно на вашем компьютере).

th1nhhdk
⭐ 892 Python 👤 th1nhhdk User 🕐 Обновлено 2026-07-05 📅 Создано 2025-11-21
91
triton-inference-server/tutorials

Этот репозиторий содержит учебные пособия и примеры для Triton Inference Server

triton-inference-server
⭐ 869 Python 👤 triton-inference-server Organization 🕐 Обновлено 2026-11-17 📅 Создано 2022-12-16
92
whitecircle/halo

Halo — это фреймворк с открытым исходным кодом, разработанный White Circle для обучения больших языковых и мультимодальных моделей

whitecircle
⭐ 868 Python 👤 whitecircle Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-08-26
93
varunvasudeva1/llm-server-docs

Сквозная документация по настройке собственного локального и полностью частного LLM-сервера на Debian. Оснащен чатом, веб-поиском, RAG, управлением моделями, MCP-серверами, генерацией изображений и TTS.

varunvasudeva1
⭐ 853 👤 varunvasudeva1 User 🕐 Обновлено 2026-06-30 📅 Создано 2024-03-26
94
pgalko/BambooAI

Рабочая среда для анализа данных на базе ИИ, созданная с упором на прозрачность, воспроизводимость и контроль со стороны пользователя. Изучайте код и доказательства, лежащие в основе результатов, проверяйте вычисления, повторно выполняя их, и выбирайте из широкого спектра моделей, включая локальные модели с открытыми весами.

pgalko
⭐ 848 Python 👤 pgalko User 🕐 Обновлено 2026-11-20 📅 Создано 2023-05-07
95
TideDra/lmm-r1

Расширить OpenRLHF для поддержки обучения LMM RL с целью воспроизведения DeepSeek-R1 в мультимодальных задачах.

TideDra
⭐ 843 Python 👤 TideDra User 🕐 Обновлено 2025-05-14 📅 Создано 2025-02-13
96
jakobdylanc/llmcord

Сделайте Discord интерфейсом для вашей LLM

jakobdylanc
⭐ 843 Python 👤 jakobdylanc User 🕐 Обновлено 2026-08-14 📅 Создано 2023-05-08
97
OpenBMB/AgentCPM

Инфраструктура от начала до конца для обучения и оценки различных агентов LLM.

OpenBMB
⭐ 835 Python 👤 OpenBMB Organization 🕐 Обновлено 2026-10-22 📅 Создано 2026-01-08
98
Tencent-Hunyuan/Hunyuan-A13B

Tencent Hunyuan A13B (сокращенно Hunyuan-A13B) — инновационная и открытая LLM, построенная на основе детальной архитектуры MoE.

Tencent-Hunyuan
⭐ 815 Python 👤 Tencent-Hunyuan Organization 🕐 Обновлено 2025-07-08 📅 Создано 2025-06-27
99
ARahim3/kaggle-tpu-lab

Открытые модели передового уровня на бесплатной TPU Kaggle v5e-8: GLM-5.3-Flash 320B MoE (~165 токенов/с, на нашем собственном движке JAX) и Qwen3.8-27B bf16 (~130 токенов/с), контекст 262k и кэширование префиксов. Работает с Claude Code, Codex, opencode и pi.

ARahim3
⭐ 812 Python 👤 ARahim3 User 🕐 Обновлено 2026-10-06 📅 Создано 2026-08-31
100
ByteDance-Seed/Seed-Coder

Seed-Coder — это семейство легковесных LLM с открытым исходным кодом для кода, включающее базовые, инструктивные и логические модели, разработанное ByteDance Seed.

ByteDance-Seed
⭐ 755 👤 ByteDance-Seed Organization 🕐 Обновлено 2025-06-06 📅 Создано 2025-04-21