#inference-server Репозитории
Откройте для себя 13 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #inference-server, с общим числом 53,014 звёзд (в среднем 4,078 на проект). Лидером этой темы является jundot/omlx, набравший 23,831 звёзд.
Всего репозиториев: 13
Сервер вывода LLM с непрерывной батчингом и кэшированием SSD для Apple Silicon — управляется из меню-бара macOS
⚡ WebGPU-движок для инференса на чистом Rust — совместим с OpenAI API, нативная поддержка GGUF, работает на любом GPU. Без Python. Без llama.cpp. Один бинарный файл.
Rapid-MLX — это сервер инференса LLM с открытым исходным кодом (Apache 2.0) для Apple Silicon, совместимый с OpenAI и Anthropic, созданный на базе MLX и ориентированный на надёжные вызовы инструментов для программных агентов. До 4 раз быстрее MLX (mlx-lm) от Apple при использовании тех же весов.
Сервер логического вывода с открытым исходным кодом и производственный кластер для всех моделей, необходимых вашему агенту.
RamaLama — это инструмент разработчика с открытым исходным кодом, который упрощает локальное развертывание моделей ИИ из любого источника и облегчает их использование для инференса в производственной среде, используя привычный язык контейнеров.
Превратите любой компьютер или периферийное устройство в центр управления вашими проектами компьютерного зрения.
К GPT-4o с открытым исходным кодом, обладающему возможностями зрения, речи и дуплекса.
Самый простой и быстрый способ запускать локально или на периферии индивидуализированные и точно настроенные LLM
Высокопроизводительный сервер логического вывода LLM, совместимый с OpenAI и Anthropic, для Apple Silicon. Нативный MLX, непрерывная пакетная обработка, мультимодальные модели, вызовы инструментов MCP и поддержка Claude Code.
API-сервер, совместимый с Jev, для открытых моделей принятия решений. Ollama для моделей принятия решений: загружайте и запускайте локально 29 семейств моделей (Laya, pplx-decider, Clef, Winnow, coba...) или размещайте их самостоятельно за /v1/systemone. SDK TypeSafe работает без изменений: укажите базовый URL и выберите открытую модель. CLI, настольное приложение, Docker, MCP-сервер и общедоступный бенчмарк.
Фреймворк компьютерного зрения с открытым исходным кодом для создания и развертывания приложений за считанные минуты
Часто задаваемые вопросы
Какой репозиторий по теме #inference-server наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #inference-server на GitHub — jundot/omlx, набравший 23,831 звёзд. Сервер вывода LLM с непрерывной батчингом и кэшированием SSD для Apple Silicon — управляется из меню-бара macOS
Какие языки программирования чаще всего используются в репозиториях по теме #inference-server?
Среди наиболее высоко оценённых проектов по теме #inference-server на GitHub чаще всего используются языки программирования Python, Rust, C++.
Как рассчитывается рейтинг репозиториев по теме #inference-server?
Мы отслеживаем 13 активных репозиториев с открытым исходным кодом, отмеченных тегом #inference-server (500 и более звёзд), с общим числом 53,014 звёзд и в среднем 4,078 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.