[Registro de Desarrollo Maeumjigi #16] Error Fatal, 2do Fine-Tuning y App React Native
· 2 min de lectura
El 8 de mayo preparábamos la presentación de los resultados. Sin embargo, descubrí un error masivo.
2 publicaciones etiquetados con "hyperparameters"
Ver Todas las Etiquetas[Registro de Desarrollo Maeumjigi #13] Límites de Entrenamiento de 70B y el Giro a Modelos Medianos (HCX, Qwen)
· 2 min de lectura
Después de experimentar el infierno del OOM durante el entrenamiento de los masivos modelos de 70B, el 4 de mayo intentamos un cambio audaz de estrategia. Reduciendo drásticamente el tamaño del lote, apenas logramos empujar los modelos 70B a checkpoint-1200, pero el tiempo de entrenamiento fue absurdamente largo.