Git Stars Git Stars

#inference-server Репозитории

Откройте для себя 13 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #inference-server, с общим числом 53,014 звёзд (в среднем 4,078 на проект). Лидером этой темы является jundot/omlx, набравший 23,831 звёзд.

13
Всего репозиториев
53,014
Всего звезд
4,078
Среднее количество звезд на репозиторий
Языки программирования: Python Rust C++

Всего репозиториев: 13

1
jundot/omlx

Сервер вывода LLM с непрерывной батчингом и кэшированием SSD для Apple Silicon — управляется из меню-бара macOS

jundot
⭐ 23,831 Python 👤 jundot User 🕐 Обновлено 2026-11-22 📅 Создано 2026-02-13
2
Michael-A-Kuykendall/shimmy

⚡ WebGPU-движок для инференса на чистом Rust — совместим с OpenAI API, нативная поддержка GGUF, работает на любом GPU. Без Python. Без llama.cpp. Один бинарный файл.

Michael-A-Kuykendall
⭐ 6,022 Rust 👤 Michael-A-Kuykendall User 🕐 Обновлено 2026-11-12 📅 Создано 2025-08-28
3
raullenchai/Rapid-MLX

Rapid-MLX — это сервер инференса LLM с открытым исходным кодом (Apache 2.0) для Apple Silicon, совместимый с OpenAI и Anthropic, созданный на базе MLX и ориентированный на надёжные вызовы инструментов для программных агентов. До 4 раз быстрее MLX (mlx-lm) от Apple при использовании тех же весов.

raullenchai
⭐ 4,172 Python 👤 raullenchai User 🕐 Обновлено 2026-11-22 📅 Создано 2026-02-25
4
superlinked/sie

Сервер логического вывода с открытым исходным кодом и производственный кластер для всех моделей, необходимых вашему агенту.

superlinked
⭐ 3,534 Python 👤 superlinked Organization 🕐 Обновлено 2026-11-20 📅 Создано 2023-11-07
5
containers/ramalama

RamaLama — это инструмент разработчика с открытым исходным кодом, который упрощает локальное развертывание моделей ИИ из любого источника и облегчает их использование для инференса в производственной среде, используя привычный язык контейнеров.

containers
⭐ 3,118 Python 👤 containers Organization 🕐 Обновлено 2026-11-14 📅 Создано 2024-07-24
6
roboflow/inference

Превратите любой компьютер или периферийное устройство в центр управления вашими проектами компьютерного зрения.

roboflow
⭐ 2,499 Python 👤 roboflow Organization 🕐 Обновлено 2026-11-21 📅 Создано 2023-07-31
7
gpt-omni/mini-omni2

К GPT-4o с открытым исходным кодом, обладающему возможностями зрения, речи и дуплекса.

gpt-omni
⭐ 1,896 Python 👤 gpt-omni Organization 🕐 Обновлено 2025-01-16 📅 Создано 2024-10-14
8
LlamaEdge/LlamaEdge

Самый простой и быстрый способ запускать локально или на периферии индивидуализированные и точно настроенные LLM

LlamaEdge
⭐ 1,665 Rust 👤 LlamaEdge Organization 🕐 Обновлено 2026-02-08 📅 Создано 2023-10-09
9
waybarrios/vllm-mlx

Высокопроизводительный сервер логического вывода LLM, совместимый с OpenAI и Anthropic, для Apple Silicon. Нативный MLX, непрерывная пакетная обработка, мультимодальные модели, вызовы инструментов MCP и поддержка Claude Code.

waybarrios
⭐ 1,657 Python 👤 waybarrios User 🕐 Обновлено 2026-11-07 📅 Создано 2025-12-06
10
ollaya-dev/ollaya

API-сервер, совместимый с Jev, для открытых моделей принятия решений. Ollama для моделей принятия решений: загружайте и запускайте локально 29 семейств моделей (Laya, pplx-decider, Clef, Winnow, coba...) или размещайте их самостоятельно за /v1/systemone. SDK TypeSafe работает без изменений: укажите базовый URL и выберите открытую модель. CLI, настольное приложение, Docker, MCP-сервер и общедоступный бенчмарк.

ollaya-dev
⭐ 1,474 Rust 👤 ollaya-dev Organization 🕐 Обновлено 2026-11-21 📅 Создано 2026-09-23
11
basetenlabs/truss

Самый простой способ развертывания моделей ИИ/МО в производственной среде

basetenlabs
⭐ 1,236 Python 👤 basetenlabs Organization 🕐 Обновлено 2026-11-20 📅 Создано 2022-07-06
12
aiptimizer/TurboOCR

TurboOCR, >200 img/s OmnidocBench. TensorRT FP16, PP-OCRv6, HTTP + gRPC

aiptimizer
⭐ 1,162 C++ 👤 aiptimizer Organization 🕐 Обновлено 2026-09-27 📅 Создано 2026-03-20
13
pipeless-ai/pipeless

Фреймворк компьютерного зрения с открытым исходным кодом для создания и развертывания приложений за считанные минуты

pipeless-ai
⭐ 794 Rust 👤 pipeless-ai Organization 🕐 Обновлено 2024-05-08 📅 Создано 2023-07-21

Часто задаваемые вопросы

1

Какой репозиторий по теме #inference-server наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #inference-server на GitHub — jundot/omlx, набравший 23,831 звёзд. Сервер вывода LLM с непрерывной батчингом и кэшированием SSD для Apple Silicon — управляется из меню-бара macOS

2

Какие языки программирования чаще всего используются в репозиториях по теме #inference-server?

Среди наиболее высоко оценённых проектов по теме #inference-server на GitHub чаще всего используются языки программирования Python, Rust, C++.

3

Как рассчитывается рейтинг репозиториев по теме #inference-server?

Мы отслеживаем 13 активных репозиториев с открытым исходным кодом, отмеченных тегом #inference-server (500 и более звёзд), с общим числом 53,014 звёзд и в среднем 4,078 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.