#model-serving Репозитории
Откройте для себя 51 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #model-serving, с общим числом 211,758 звёзд (в среднем 4,152 на проект). Лидером этой темы является vllm-project/vllm, набравший 97,302 звёзд.
Всего репозиториев: 51
Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM
Самый простой способ обслуживания AI-приложений и моделей - Создавайте API вывода моделей, очереди заданий, приложения LLM, конвейеры с несколькими моделями и многое другое!
Фреймворк для эффективной инференции модели с использованием омнимодальных моделей
Типобезопасная распределённая оркестрация агентов, ML-пайплайнов и инференса в реальном времени в вашем k8s — на чистом Python с async/await, а также на других языках (Rust, Go и TypeScript)
Стандартизированная распределенная платформа для генеративного и предиктивного вывода ИИ для масштабируемого развертывания с несколькими фреймворками на Kubernetes
В этом репозитории я поделюсь полезными заметками и ссылками о развертывании моделей на основе глубокого обучения в продакшене.
LightLLM — это основанный на Python фреймворк для инференса и обслуживания LLM (больших языковых моделей), известный своим легким дизайном, простой масштабируемостью и высокой скоростью работы.
🚀 Крутая Система для Machine Learning ⚡️ Статьи по Системам ИИ и Практика в Индустрии. ⚡️ Система для Machine Learning, LLM (Large Language Model), GenAI (Generative AI). 🍻 OSDI, NSDI, SIGCOMM, SoCC, MLSys и т.д. 🗃️ Llama3, Mistral и т.д. 🧑💻 Видеоуроки.
FEDML – Единая и масштабируемая ML-библиотека для крупномасштабного распределенного обучения, обслуживания моделей и федеративного обучения. FEDML Launch, кросс-облачный планировщик, позволяет запускать любые ИИ-задания в любом облаке GPU или локальном кластере. TensorOpera AI (https://TensorOpera.ai), построенная на основе этой библиотеки, — это ваша платформа генеративного ИИ в больших масштабах.
OpenLake — это высокопроизводительный движок хранения данных для эффективного вывода LLM и обучения на GPU
Высокопроизводительный фреймворк для инференса больших языковых моделей с акцентом на эффективность, гибкость и доступность.
Высокопроизводительная среда выполнения для обслуживания интерактивных систем сверхинтеллекта
MLRun — это открытая платформа MLOps для быстрого создания и управления непрерывными приложениями ML на протяжении всего их жизненного цикла. MLRun интегрируется в вашу среду разработки и CI/CD и автоматизирует доставку производственных данных, конвейеров ML и онлайн-приложений.
API-сервер, совместимый с Jev, для открытых моделей принятия решений. Ollama для моделей принятия решений: загружайте и запускайте локально 29 семейств моделей (Laya, pplx-decider, Clef, Winnow, coba...) или размещайте их самостоятельно за /v1/systemone. SDK TypeSafe работает без изменений: укажите базовый URL и выберите открытую модель. CLI, настольное приложение, Docker, MCP-сервер и общедоступный бенчмарк.
Инструмент DevOps с открытым исходным кодом от CNCF для упаковки и управления версиями моделей ИИ/МО, наборов данных, кода и конфигураций в OCI Artifact.
RTP-LLM: высокопроизводительный движок вывода LLM от Alibaba для различных приложений.
📰 Обязательные к прочтению статьи и блоги по спекулятивному декодированию ⚡️
Hopsworks - Платформа ИИ с интенсивным использованием данных и хранилищем признаков
Все ссылки, книги и создатели, которым нужно следовать, чтобы оставаться в курсе развития ИИ!
Ориентированный на пропускную способность высокопроизводительный фреймворк для обслуживания LLM
Масштабируемый сервер вывода для моделей, оптимизированных с помощью OpenVINO™
Высокопроизводительный фреймворк для обслуживания ML-моделей, предлагающий динамическую пакетную обработку и конвейеры CPU/GPU для полного использования вашей вычислительной машины
Код для онлайн-курса «Развертывание моделей машинного обучения»
Чистый движок вывода LLM на Rust + CUDA — без PyTorch, совместим с OpenAI, обслуживает от Qwen3 до Kimi-K2
Ollama для классических моделей ML. Компилятор AOT, который преобразует модели XGBoost, LightGBM, scikit-learn, CatBoost и ONNX в нативный код вывода C99. Одна команда для загрузки, одна команда для обслуживания. В 336 раз быстрее, чем вывод на Python.
Шаблонное приложение FastAPI для предоставления готовых к производству моделей машинного обучения.
Часто задаваемые вопросы
Какой репозиторий по теме #model-serving наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #model-serving на GitHub — vllm-project/vllm, набравший 97,302 звёзд. Высокопроизводительный и эффективный по памяти движок для инференса и обслуживания LLM
Какие языки программирования чаще всего используются в репозиториях по теме #model-serving?
Среди наиболее высоко оценённых проектов по теме #model-serving на GitHub чаще всего используются языки программирования Python, Go, Rust, Jupyter Notebook.
Как рассчитывается рейтинг репозиториев по теме #model-serving?
Мы отслеживаем 51 активных репозиториев с открытым исходным кодом, отмеченных тегом #model-serving (500 и более звёзд), с общим числом 211,758 звёзд и в среднем 4,152 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.