#llm-inference Репозитории
Всего репозиториев: 202
Легкий, низкозависимый, унифицированный API для использования всех распространенных моделей переранжирования и кросс-кодировщиков.
Высокопроизводительный механизм инференса для моделей LLM, VLM и DiT, оптимизированный для различных ИИ-ускорителей. Проект размещён в фонде OpenAtom Foundation.
Готовые конфигурации компьютеров для ИИ с открытым исходным кодом: от настольных ПК с 2 GPU до серверов с 8 GPU. CAD-файлы, спецификации, настройки BIOS и инструкции по сборке. Закажите комплект корпуса с райзерами PCIe или попросите нас бесплатно проверить совместимость.
[ICML 2023] SmoothQuant: Точная и эффективная послетренировочная квантизация для больших языковых моделей
Главная страница "How To Scale Your Model", короткий учебник в стиле блога о масштабировании LLM на TPU
Список программного обеспечения, позволяющего осуществлять поиск в Интернете с помощью искусственного интеллекта: https://hf.co/spaces/felladrin/awesome-ai-web-search
Запускайте локальные LLM, такие как llama, deepseek-distill, kokoro и другие, в вашем браузере
Кураторская коллекция первоклассных инструментов для тестирования на проникновение и утилит для повышения продуктивности в различных областях. Присоединяйтесь к нам, чтобы исследовать, вносить вклад и улучшать свой набор хакерских инструментов!
📰 Обязательные к прочтению статьи и блоги по спекулятивному декодированию ⚡️
Запускайте модели, превышающие объём вашей RAM или VRAM, загружая экспертов MoE с SSD в потоковом режиме. Основано на llama.cpp.
10-недельная дорожная карта по обслуживанию и оптимизации инференса LLM — по 30 минут в день. vLLM, SGLang, квантизация, спекулятивное декодирование, бенчмаркинг.
Создайте свой собственный высокопроизводительный движок вывода LLM на C++ и CUDA - уменьшенная версия vLLM
Ваш iPhone помогает Mac запускать модель на 27 млрд параметров: более быстрое чтение промптов и больший контекст через кабель USB-C
Оптимизирует и упрощает проектирование подсказок как для разработчиков, так и для нетехнических пользователей с помощью подхода с низким уровнем кода.
Flash Attention примерно в 100 строках CUDA (только прямой проход)
Checkpoint-engine — это простой промежуточный слой для обновления весов модели в механизмах вывода LLM
OpenAlpha_Evolve — это фреймворк Python с открытым исходным кодом, вдохновленный новаторскими исследованиями в области автономных кодирующих агентов, таких как AlphaEvolve от DeepMind.
"AI-Compass" поможет сообществу ориентироваться в океане технологий ИИ. Независимо от того, новичок вы или опытный разработчик, здесь вы найдете пути к основным направлениям ИИ. Цель проекта — помочь разработчикам систематически разобраться в ключевых концепциях ИИ, в ведущих технологиях и передовых тенденциях, а также практическим освоением полного процесса от теории до реализации.
jevos: альтернатива Jev и Microsoft-Decision-1 с открытым исходным кодом. Решения «да/нет», выбор и оценка с вероятностями — на процессоре вашего ноутбука.
Чистая реализация на C++ нескольких моделей для общения в реальном времени на вашем компьютере (CPU и GPU)
LeaderWorkerSet и DisaggregatedSet: API Kubernetes для распределённого и дезагрегированного обслуживания ИИ
Заметки по LLM, включая вывод модели, структуру модели Transformer и заметки по анализу кода фреймворка LLM.
openperplex — это поисковая система ИИ с открытым исходным кодом
LLM.swift — это простая и читаемая библиотека, которая позволяет легко взаимодействовать с большими языковыми моделями локально для macOS, iOS, watchOS, tvOS и visionOS.