#distributed-training Repositorios
147 repositorios en total
📹 Un marco más flexible que puede generar videos en cualquier resolución y crea videos a partir de imágenes.
Lista de Artículos sobre Sistemas de Modelos Lingüísticos Grandes (LLMs)
VeOmni: Escalando el entrenamiento de modelos de cualquier modalidad con un zoológico de recetas distribuidas centrado en el modelo
Código, laboratorios y recursos para O'Reilly AI Systems Performance Engineering: optimización de GPU, entrenamiento distribuido, escalado de inferencia y ajuste de pila completa.
【LLMs Torre del Demonio de Nueve Capas】Compartiendo experiencias prácticas y conocimientos sobre LLMs en campos como el procesamiento del lenguaje natural (ChatGLM, Chinese-LLaMA-Alpaca, Xiaoyangtuo Vicuna, LLaMA, GPT4ALL, etc.), recuperación de información (langchain), síntesis de lenguaje, reconocimiento de lenguaje, multimodal (Stable Diffusion, MiniGPT-4, VisualGLM-6B, Ziya-Visual, etc.).
Meditron es una suite de grandes modelos de lenguaje (LLM) de código abierto para uso médico.
Preguntas de entrevista para puestos de algoritmos de modelos grandes (con respuestas): preguntas frecuentes y análisis de conceptos "Preguntas de entrevista para modelos grandes", "Entrevista para puestos de algoritmos", "Preguntas frecuentes de entrevista", "Entrevista de algoritmos de modelos grandes", "Fundamentos de aplicaciones de modelos grandes"
Descubrimiento automático de estrategias de paralelización rápidas para el entrenamiento distribuido de redes neuronales profundas
Entrenamiento de modelos de lenguaje grandes para razonar en un espacio latente continuo
DLRover: Un sistema distribuido automático de aprendizaje profundo
Un marco completamente de código abierto para crear enjambres de entrenamiento de RL a través de Internet.
Una guía de inicio rápido y benchmark para el entrenamiento distribuido de PyTorch.
Una familia de modelos de lenguaje grandes Mixture-of-Experts (MoE) de código abierto
El repositorio oficial de Pai-Megatron-Patch para el entrenamiento a gran escala de LLM y VLM desarrollado por Alibaba Cloud.
Una bifurcación para agregar el entrenamiento de modelos multimodales a open-r1
Una plataforma de investigación de análisis facial confiable desarrollada por Tencent Youtu Lab
fitlog es una herramienta utilizada en el entrenamiento de aprendizaje profundo para ayudar a los usuarios a registrar logs y gestionar código.
Compilador de PyTorch que acelera el entrenamiento y la inferencia. Obtenga optimizaciones integradas para el rendimiento, la memoria, el paralelismo y escriba fácilmente las suyas.
Biblioteca de comunicación colectiva con varias primitivas para entrenamiento multimaquina.
BatchNorm Activado In Situ para el Entrenamiento Optimizado en Memoria de DNNs
Una colección de cosas IMPRESIONANTES sobre modelos de mezcla de expertos
DeepRec es un framework de aprendizaje profundo de alto rendimiento para recomendaciones basado en TensorFlow. Está alojado en incubación en LF AI & Data Foundation.
GigaTrain: Un Marco de Entrenamiento Eficiente y Escalable para Modelos de IA
Una infraestructura abierta para democratizar y descentralizar el desarrollo de la superinteligencia para la humanidad.
Atención distribuida hacia la escalabilidad lineal para el entrenamiento de contextos ultralargos y datos heterogéneos