Al entrar en junio, el equipo completó los desarrollos principales del primer semestre y se enfocó en construir redes de seguridad y preparar la presentación final.
En la última semana de mayo, nos dedicamos a concluir los resultados del tan esperado 4to Fine-Tuning (fine_tuning_4) y solidificar la estructura del sistema.
El 21 y 22 de mayo, el equipo de Maeumjigi se embarcó en la generación masiva de datos y la preparación para el Cuarto Fine-Tuning (fine_tuning_4).
Durante el 19 y 20 de mayo, la evaluación del tercer fine-tuning (fine_tuning_3) y la mejora de las características de backend y frontend procedieron en paralelo.
¡Debo corregir mi suposición de que el 13 de mayo fue el último día! El 17 de mayo hubo una ola masiva de pruebas de backend y redacción de informes.
El 13 de mayo, después de corregir los errores, reanudamos las pruebas de inferencia para los modelos del 2do fine-tuning.
¡El entrenamiento paralelo del 2do fine-tuning (fine_tuning_2), que comenzó para corregir el error de los hiperparámetros, finalmente terminó el 12 de mayo!
El 8 de mayo preparábamos la presentación de los resultados. Sin embargo, descubrí un error masivo.
El 7 de mayo sintetizamos los resultados de los 5 modelos que habíamos entrenado (Llama3.3-70B, DSR1-70B, HCX-Omni-8B, Qwen35-9B, HCX-Text-1.5B) y procedimos con la visualización a gran escala.
¡El 6 de mayo, finalmente escapamos del largo pantano del fine-tuning! Después de varias noches de trabajo, el entrenamiento de los modelos como HCX-Omni-8B y Qwen35-9B se completó con éxito.
Después de experimentar el infierno del OOM durante el entrenamiento de los masivos modelos de 70B, el 4 de mayo intentamos un cambio audaz de estrategia. Reduciendo drásticamente el tamaño del lote, apenas logramos empujar los modelos 70B a checkpoint-1200, pero el tiempo de entrenamiento fue absurdamente largo.
El 3 de mayo, habiendo ganado suficiente experiencia con los modelos 8B, nuestro equipo finalmente desafió a los reyes del rendimiento: el fine-tuning de modelos masivos de 70B (70 mil millones de parámetros). Intentamos entrenar tanto Llama 3.3 70B como DeepSeek-R1 70B, pero chocamos con un muro de recursos de hardware.
El 9 de abril, usando el cuaderno de Colab que completamos ayer de manera ambiciosa, finalmente intentamos el primer entrenamiento (fine-tuning) de nuestro modelo de IA (Llama 3.1). Sin embargo, la realidad no fue tan fácil y tuvimos que enfrentar numerosos errores. También fue un día difícil ya que tuvimos que crear simultáneamente los materiales de presentación para la sexta semana.
El 8 de abril fue el día en que experimentamos la mayor crisis y un suceso de 'reír y llorar' mientras trabajábamos en el proyecto Maeumjigi. Fue el incidente de exceso del límite mensual y la bomba de facturación de la API de Claude.
Este es el registro del 1 de abril, cuando comenzamos a procesar una enorme cantidad de datos de conversación en un formato adecuado para entrenar el modelo Llama 3.1, que se convertirá en el motor central del proyecto Maeumjigi.