#gpu-optimization Репозитории
Откройте для себя 55 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #gpu-optimization, с общим числом 216,210 звёзд (в среднем 3,931 на проект). Лидером этой темы является Dao-AILab/flash-attention, набравший 25,330 звёзд.
Всего репозиториев: 55
Расширение PyTorch: Инструменты для легкого обучения с смешанной точностью и распределённого обучения в PyTorch
Реализация языковой модели LLaMA на основе nanoGPT. Поддерживает flash attention, квантификацию Int8 и GPTQ 4bit, дообучение LoRA и LLaMA-Adapter, предварительное обучение. Лицензия Apache 2.0.
Двунаправленный алгоритм конвейерного параллелизма для перекрытия вычислений и коммуникаций при обучении DeepSeek V3/R1.
📹 Более гибкая структура, которая может генерировать видео с любым разрешением и создавать видео из изображений.
Код для статьи ICLR 2023 "GPTQ: Accurate Post-training Quantization of Generative Pretrained Transformers".
Код, лабораторные работы и ресурсы для O'Reilly AI Systems Performance Engineering: оптимизация GPU, распределенное обучение, масштабирование вывода и полностековая настройка.
Проект, демонстрирующий решения ИИ, связанные с Lidar, включая три ускоренных на GPU сети глубокого обучения (DL) Lidar/камера (PointPillars, CenterPoint, BEVFusion) и связанные библиотеки (cuPCL, 3D SparseConvolution, YUV2RGB, cuOSD).
NVIDIA DLSS — это новая и улучшенная нейронная сеть глубокого обучения, которая увеличивает частоту кадров и создает красивые, четкие изображения для ваших игр
FB (Facebook) + GEMM (Общее умножение матрицы на матрицу) - https://code.fb.com/ml-applications/fbgemm/
Официальная реализация статьи SIGGRAPH 2024 «Иерархическое 3D-гауссово представление для рендеринга очень больших наборов данных в реальном времени»
CUDA Tile IR — это промежуточное представление и компиляторная инфраструктура на основе MLIR для оптимизации ядер CUDA, ориентированная на плиточные вычислительные шаблоны и оптимизации, нацеленные на блоки тензорных ядер NVIDIA.
Flash Attention примерно в 100 строках CUDA (только прямой проход)
Checkpoint-engine — это простой промежуточный слой для обновления весов модели в механизмах вывода LLM
Распределенное внимание для линейной масштабируемости при обучении на сверхдлинных контекстах и гетерогенных данных
Примеры, демонстрирующие доступные варианты для программирования нескольких GPU в одном узле или кластере
Блокноты для специализации по большим языковым моделям (LLM)
Сверхразрешение потокового видео в реальном времени на основе диффузии / Модель сверхразрешения потокового видео в реальном времени на основе архитектуры Diffusion
Кроссплатформенный SDK для 3D-графики на C++. Включает демонстрации и вспомогательный код (загрузка ресурсов и т. д.) для ускорения разработки приложений Vulkan, OpenGL ES 2.0 и 3.x
Руководство по тонкой настройке моделей Llama/Mistral/CodeLlama и других
JNeRF — это эталон NeRF на основе Jittor. JNeRF перереализовал instant-ngp и достиг той же производительности, что и в оригинальной статье.
Часто задаваемые вопросы
Какой репозиторий по теме #gpu-optimization наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #gpu-optimization на GitHub — Dao-AILab/flash-attention, набравший 25,330 звёзд. Быстрое и эффективное по памяти точное внимание
Какие языки программирования чаще всего используются в репозиториях по теме #gpu-optimization?
Среди наиболее высоко оценённых проектов по теме #gpu-optimization на GitHub чаще всего используются языки программирования Python, C++, Cuda, HTML.
Как рассчитывается рейтинг репозиториев по теме #gpu-optimization?
Мы отслеживаем 55 активных репозиториев с открытым исходным кодом, отмеченных тегом #gpu-optimization (500 и более звёзд), с общим числом 216,210 звёзд и в среднем 3,931 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.