#llm-inference Репозитории
Всего репозиториев: 202
Быстрая библиотека вывода для локального запуска LLM на современных потребительских GPU
Обмен знаниями об AI Infra и практика кода: PyTorch, vLLM/SGLang, введение в фреймворк slime/vime ⚡️, ускорение производительности 🚀, основы больших моделей 🧠, программное и аппаратное обеспечение ИИ 🔧 и т.д.
Референсные рабочие процессы генеративного ИИ, оптимизированные для ускоренной инфраструктуры и архитектуры микросервисов.
Rapid-MLX — это сервер инференса LLM с открытым исходным кодом (Apache 2.0) для Apple Silicon, совместимый с OpenAI и Anthropic, созданный на базе MLX и ориентированный на надёжные вызовы инструментов для программных агентов. До 4 раз быстрее MLX (mlx-lm) от Apple при использовании тех же весов.
Коллекция научных методов, процессов, алгоритмов и систем для создания историй и моделей.
Ваша шпаргалка для собеседования по инженерной разработке ИИ – Вопросы и ответы.
Форк llama.cpp с дополнительными SOTA квантами и улучшенной производительностью
Распределенный вывод LLM. Объедините домашние устройства в мощный кластер для ускорения вывода LLM. Больше устройств означает более быстрый вывод.
Запускайте GLM-5.3 (744B), DeepSeek-V4.1-Flash (748B), MiniMax-M3.1-Flash (428B), GLM-5.3-Flash (321B) и Hy4-Flash (220B) на собственных GPU — от 8 ГБ видеопамяти, с поддержкой NVIDIA и AMD, единой панелью управления и API, совместимым с OpenAI и Anthropic.
Добавьте узел аналитики в реальном времени в свою рабочую базу данных. Spice — это портативный и ускоренный движок для SQL-запросов, поиска и LLM-выводов, написанный на Rust для приложений и агентов ИИ, основанных на данных.
Быстро обслуживайте большие модели Qwen на тех GPU, которыми вы действительно располагаете. Qwen3.8-27B на одной карте объёмом 24 ГБ с vLLM: 127 ток/с для одного пользователя (381, когда ответ цитирует промпт), около 1 035 ток/с при 64 одновременных запросах, контекст 150k–262k. Патчи для vLLM, конвейер повторной квантизации и бенчмарки.
Самый быстрый способ запускать Qwen 3.8 Flash Next, Qwen 3.8 27B и Ternary Bonsai 2 27B на Mac: 125 токенов/с в OpenCode на M5 Max и модель 27B на Mac с 16 ГБ памяти. Нативное спекулятивное декодирование MTP на Apple Silicon, точность при любой температуре. Локальный сервер, совместимый с OpenAI и Anthropic.
Референтная система vLLM для нативной для K8S кластерной развертки с оптимизацией производительности под руководством сообщества
Medusa: Простая структура для ускорения генерации LLM с несколькими головами декодирования
Открытый агент для программирования в терминале, созданный сообществом, а не компанией. Используйте свою собственную модель, храните код на своем компьютере и никому ничего не будьте должны.
Официальная реализация EAGLE-1 (ICML'24), EAGLE-2 (EMNLP'24) и EAGLE-3 (NeurIPS'25).
Примеры кода и ресурсы для DBRX, большой языковой модели, разработанной Databricks
Библиотека для инференса больших моделей Jito обладает высокой производительностью, низкими требованиями к конфигурации, хорошей поддержкой китайского языка и переносимостью.
Официальный курс SGLang x Datawhale по инференсу LLM: разберитесь в инференсе, создайте мини-SGLang с нуля, затем изучите настоящий исходный код SGLang и отправьте свой первый PR. Доступен на английском и китайском языках.
Код, лабораторные работы и ресурсы для O'Reilly AI Systems Performance Engineering: оптимизация GPU, распределенное обучение, масштабирование вывода и полностековая настройка.
Фреймворк агентов в экосистеме PHP для создания готовых к промышленной эксплуатации приложений на базе ИИ. Подключайте компоненты (LLM, инструменты, векторные базы данных, память) к агентам, которые взаимодействуют с вашими данными и пользовательским интерфейсом.
Шпаргалка для собеседований по инженерии ИИ в ведущих компаниях в сфере ИИ — вопросы и ответы.
Виртуализированный эластичный KV-кэш для динамического совместного использования GPU и не только
Локальное приложение ИИ и движок логического вывода для агентов. Запускайте LLM с открытыми весами локально — конфиденциально, 100% офлайн на вашем компьютере. Присоединяйтесь к нашему Discord: https://discord.com/invite/8wGSsvmg4V
Запустите любую модель Llama 2 локально с помощью интерфейса Gradio на GPU или CPU из любого места (Linux/Windows/Mac). Используйте `llama2-wrapper` в качестве вашего локального бэкенда Llama2 для Генеративных Агентов/Приложений.
Несколько графических процессоров NVIDIA или Apple Silicon для инференса больших языковых моделей?
Оптимизированная библиотека квантования и инференса для локального запуска LLM на современных потребительских GPU
Оцените и улучшите развертывания ваших LLM для реальных потребностей в выводе
Высокопроизводительная библиотека ИИ-инференса на устройстве для React Native с приоритетом конфиденциальности, работающая на основе среды выполнения ExecuTorch от PyTorch
Самый простой и быстрый способ запускать локально или на периферии индивидуализированные и точно настроенные LLM