#knowledge-distillation Репозитории
Откройте для себя 35 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #knowledge-distillation, с общим числом 102,336 звёзд (в среднем 2,923 на проект). Лидером этой темы является titanwings/distilly, набравший 26,745 звёзд.
Всего репозиториев: 35
Distilly — Превратите их образ мышления в повторно используемые Skills для любого агента или бота. Ранее — Colleague Skill (原同事 Skill).
Превращайте ценный контент из книг, длинных видео, подкастов и других источников в исполняемые Agent Skills
Некоторые скрипты по обнаружению целей и код с идеями улучшения; подробности см. readme.md.
Сундук с сокровищами для визуальной классификации и распознавания на базе PaddlePaddle
Предобученная языковая модель и связанные с ней техники оптимизации, разработанные Huawei Noah's Ark Lab.
Реализация Segnet, FCN, UNet, PSPNet и других моделей в Keras.
Передовое (SOTA) низкобитное квантование LLM (INT8/FP8/MXFP8/INT4/MXFP4/NVFP4) и разреженность; ведущие методы сжатия моделей на PyTorch, TensorFlow и ONNX Runtime
Отличные исследовательские статьи и инструменты для сжатия LLM.
Фреймворк без необходимости программирования на базе PyTorch для воспроизводимых исследований в области глубокого обучения. Экосистема PyTorch. 🏆 На данный момент реализовано 28 методов дистилляции знаний, представленных на конференциях и в журналах TPAMI, CVPR, ICLR, ECCV, NeurIPS, ICCV, AAAI и других. 🎁 Для обеспечения воспроизводимости и проведения сравнительного тестирования доступны обученные модели, журналы обучения и конфигурации.
Список литературы по генерации синтетических данных на основе LLM 🔥
Эффективные методы вычислений, разработанные Huawei Noah's Ark Lab
Этот репозиторий собирает статьи для «Обзор методов дистилляции знаний больших языковых моделей». Мы разбиваем KD на извлечение знаний и алгоритмы дистилляции, а также исследуем дистилляцию навыков и вертикальную дистилляцию LLM.
Сборник недавних методов сжатия и ускорения (глубоких) нейронных сетей.
Курируемая коллекция статей, технических отчетов, фреймворков и инструментов для дистилляции по политике (OPD) больших языковых моделей
Расширяемая (общая) структура непрерывного обучения на основе Pytorch - официальная кодовая база Dark Experience для общего непрерывного обучения
sanoTTS (सानो означает «маленький» на непальском): нейросетевая система синтеза речи с числом параметров от 294 тыс. до 2,27 млн, работающая на чипе за 3 доллара, в браузере или на Python и поддерживающая потоковую передачу с низкой задержкой.
[ICCV 2023] MI-GAN: Простая базовая модель для инпейтинга изображений на мобильных устройствах
Репозиторий для "Distill Any Depth: Distillation Creates a Stronger Monocular Depth Estimator"
Подборка статей и ресурсов по дистилляции в политике для больших языковых моделей.
Резюме, Код для квантования глубоких нейронных сетей
От учителя к плиткам — движок дистилляции и обслуживания LLM, созданный с нуля: пользовательские ядра Triton/CUDA, дистилляция FSDP, пакетная обработка с непрерывным KV-кэшированием, спекулятивное декодирование, шлюз на Rust, оракул JAX и инструменты интерпретируемости.
Часто задаваемые вопросы
Какой репозиторий по теме #knowledge-distillation наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #knowledge-distillation на GitHub — titanwings/distilly, набравший 26,745 звёзд. Distilly — Превратите их образ мышления в повторно используемые Skills для любого агента или бота. Ранее — Colleague Skill (原同事 Skill).
Какие языки программирования чаще всего используются в репозиториях по теме #knowledge-distillation?
Среди наиболее высоко оценённых проектов по теме #knowledge-distillation на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, C.
Как рассчитывается рейтинг репозиториев по теме #knowledge-distillation?
Мы отслеживаем 35 активных репозиториев с открытым исходным кодом, отмеченных тегом #knowledge-distillation (500 и более звёзд), с общим числом 102,336 звёзд и в среднем 2,923 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.