#model-quantization Репозитории
Откройте для себя 59 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #model-quantization, с общим числом 217,873 звёзд (в среднем 3,692 на проект). Лидером этой темы является zai-org/ChatGLM-6B, набравший 41,224 звёзд.
Всего репозиториев: 59
ChatGLM-6B: Открытая двуязычная диалоговая языковая модель | Открытая двуязычная диалоговая языковая модель
Серия ChatGLM3: Открытые двуязычные чат-модели LLM | Открытые двуязычные чат-модели LLM
[ICLR 2024] Дообучение LLaMA для выполнения инструкций за 1 час и 1,2 млн параметров
Единая библиотека методов оптимизации моделей SOTA, таких как квантование, дистилляция, прунинг, поиск нейронных архитектур, спекулятивное декодирование и т. д. Она сжимает модели глубокого обучения для последующих фреймворков развертывания, таких как TensorRT-LLM, TensorRT, vLLM и других, для оптимизации скорости вывода.
Это пошаговое руководство для начинающих в области больших моделей ИИ/LLM, включающее учебные пособия и демонстрационный код. Оно проведет вас от API к локальному развертыванию и тонкой настройке больших моделей. Файлы с кодом будут доступны в онлайн-версиях для Kaggle или Colab, что позволит вам учиться даже без графического процессора. В проекте также имеется небольшая "песочница" для кода 🎡, где вы можете экспериментировать с интересными ИИ-скриптами. Одновременно с этим, оно включает полную китайскую зеркальную версию заданий из курса Хунг-Йи Ли (HUNG-YI LEE) "Введение в генеративный ИИ 2024".
Этот репозиторий в основном записывает вопросы собеседования, связанные с инженерами алгоритмов больших языковых моделей (LLM).
Подборка статей, бенчмарков, обзорных материалов и инструментов по квантованию моделей, охватывающая низкоразрядные сети, LLM, мультимодальные и генеративные модели, векторное и решёточное квантование, а также эффективное развертывание.
Рецепты для уменьшения, оптимизации и настройки передовых моделей компьютерного зрения. 💜
Отличные исследовательские статьи и инструменты для сжатия LLM.
Несколько графических процессоров NVIDIA или Apple Silicon для инференса больших языковых моделей?
Vitis AI — это стек разработки Xilinx для вывода AI на аппаратных платформах Xilinx, включая как периферийные устройства, так и карты Alveo.
[ICML 2023] SmoothQuant: Точная и эффективная послетренировочная квантизация для больших языковых моделей
Крупные модели, вдохновленные спайковой активностью мозга, интегрирующие гибридное эффективное внимание, модули MoE и спайковое кодирование в свою архитектуру
Официальный репозиторий Pytorch для экстремального сжатия больших языковых моделей с помощью аддитивной квантизации https://arxiv.org/pdf/2401.06118.pdf и PV-Tuning: за пределами прямого оценивания для экстремального сжатия LLM https://arxiv.org/abs/2405.14852
Lumina-mGPT 2.0: Автономное авторегрессионное моделирование изображений
Модели Cosmos-Reason1 понимают физический здравый смысл и генерируют соответствующие воплощенные решения на естественном языке посредством длительных процессов рассуждений в виде цепочки мыслей.
BlueLM (Большая языковая модель Blue Heart): Открытые большие языковые модели, разработанные vivo AI Lab
Реализация с нуля китайской большой языковой модели с небольшим количеством параметров.
Курируемый список проектов с открытым исходным кодом, связанных с DeepSeek Coder
Чрезвычайно быстрая реализация Whisper, оптимизированная для Apple Silicon с использованием MLX.
Tencent Hunyuan A13B (сокращенно Hunyuan-A13B) — инновационная и открытая LLM, построенная на основе детальной архитектуры MoE.
Инструментарий сжатия моделей для больших языковых моделей и диффузионных моделей
Эффективная платформа для инференса и обслуживания локальных LLM, включая совместимый с OpenAI API-сервер.
Часто задаваемые вопросы
Какой репозиторий по теме #model-quantization наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #model-quantization на GitHub — zai-org/ChatGLM-6B, набравший 41,224 звёзд. ChatGLM-6B: Открытая двуязычная диалоговая языковая модель | Открытая двуязычная диалоговая языковая модель
Какие языки программирования чаще всего используются в репозиториях по теме #model-quantization?
Среди наиболее высоко оценённых проектов по теме #model-quantization на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, C, Makefile.
Как рассчитывается рейтинг репозиториев по теме #model-quantization?
Мы отслеживаем 59 активных репозиториев с открытым исходным кодом, отмеченных тегом #model-quantization (500 и более звёзд), с общим числом 217,873 звёзд и в среднем 3,692 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.