#deepspeed Репозитории
Откройте для себя 25 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #deepspeed, с общим числом 68,253 звёзд (в среднем 2,730 на проект). Лидером этой темы является deepseek-ai/DeepSeek-Coder, набравший 24,365 звёзд.
Всего репозиториев: 25
FlagAI (Fast LArge-scale General AI models) - это быстрый, простой в использовании и расширяемый набор инструментов для масштабных моделей.
DeepSeekMoE: К конечной специализации экспертов в языковых моделях Mixture-of-Experts
Очень простая реализация GRPO untuk воспроизведения мышления LLM, похожего на r1.
Безопасный RLHF: Ограниченное согласование ценностей посредством безопасного обучения с подкреплением на основе обратной связи от человека
Текущие исследования по обучению масштабируемых языковых моделей Transformer, включая: BERT и GPT-2
ChatLLaMA 📢 Реализация с открытым исходным кодом для ChatGPT на основе LLaMA, которую можно запускать на одном GPU. Процесс обучения в 15 раз быстрее, чем у ChatGPT
Легковесная среда постобучения LLM, поддерживает SFT, RLVR, On-Policy KD, Guide KD и смешанное обучение; реализует одно-/многорундовую Guide-дистилляцию, дистилляцию с несколькими учителями, смешанное обучение Reward и автоматизированное разделение данных👩🎓👨🎓
Реализация с нуля китайской большой языковой модели с небольшим количеством параметров.
Оптимизация памяти и рецепты обучения для экстраполяции длины контекста языковых моделей до 1 миллиона токенов с минимальным оборудованием.
Личный проект: MPP-Qwen14B & MPP-Qwen-Next (Мультимодальный конвейерный параллелизм на основе Qwen-LM). Поддержка [video/image/multi-image] {sft/conversations}. Не позволяйте бедности ограничивать ваше воображение! Обучите свой собственный MLLM, похожий на LLaVA-training, 8B/14B на RTX3090/4090 24GB.
Лучшие практики и руководства по написанию распределенного обучающего кода PyTorch
Часто задаваемые вопросы
Какой репозиторий по теме #deepspeed наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #deepspeed на GitHub — deepseek-ai/DeepSeek-Coder, набравший 24,365 звёзд. DeepSeek Coder: Пусть код пишет себя сам
Какие языки программирования чаще всего используются в репозиториях по теме #deepspeed?
Среди наиболее высоко оценённых проектов по теме #deepspeed на GitHub чаще всего используются языки программирования Python, Jupyter Notebook, Ruby.
Как рассчитывается рейтинг репозиториев по теме #deepspeed?
Мы отслеживаем 25 активных репозиториев с открытым исходным кодом, отмеченных тегом #deepspeed (500 и более звёзд), с общим числом 68,253 звёзд и в среднем 2,730 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.