Saltar al contenido principal

23 publicaciones etiquetados con "devlog"

Ver Todas las Etiquetas

[Registro de Desarrollo Maeumjigi #13] Límites de Entrenamiento de 70B y el Giro a Modelos Medianos (HCX, Qwen)

· 2 min de lectura
Jihwan Park (jaybee)
AI & Robotics Engineer

Imagen de Portada

Después de experimentar el infierno del OOM durante el entrenamiento de los masivos modelos de 70B, el 4 de mayo intentamos un cambio audaz de estrategia. Reduciendo drásticamente el tamaño del lote, apenas logramos empujar los modelos 70B a checkpoint-1200, pero el tiempo de entrenamiento fue absurdamente largo.

[Registro de Desarrollo Maeumjigi #12] Fine-Tuning de Modelos Masivos de 70B y Lucha con la Memoria GPU (OOM)

· 2 min de lectura
Jihwan Park (jaybee)
AI & Robotics Engineer

Imagen de Portada

El 3 de mayo, habiendo ganado suficiente experiencia con los modelos 8B, nuestro equipo finalmente desafió a los reyes del rendimiento: el fine-tuning de modelos masivos de 70B (70 mil millones de parámetros). Intentamos entrenar tanto Llama 3.3 70B como DeepSeek-R1 70B, pero chocamos con un muro de recursos de hardware.

[Registro de Desarrollo Maeumjigi #11] Evaluación del Modelo M6 Entrenado con Datos Sintéticos (v5)

· 2 min de lectura
Jihwan Park (jaybee)
AI & Robotics Engineer

Imagen de Portada

El 19 de abril es el día en que evaluamos el rendimiento del modelo (M6) entrenado en el conjunto de datos sintéticos (v5) que creamos con tanto esfuerzo. ¿Valieron la pena los datos que generamos mientras soportábamos una bomba de facturación de $10?

[Registro de Desarrollo Maeumjigi #10] Levantamiento de Límites de Interfaz de Programación de Aplicaciones (API) y Reanudación de la Síntesis de Datos

· 2 min de lectura
Jihwan Park (jaybee)
AI & Robotics Engineer

Imagen de Portada

El 14 de abril es el día en que reanudamos el trabajo de generación de datos sintéticos (v5), que se había detenido temporalmente desde el incidente de la bomba de facturación. Aumentamos el límite de facturación de la API (levantamos la restricción) y ejecutamos el sistema, pero una vez más, no fue fácil.

[Registro de Desarrollo Maeumjigi #9] Lucha contra Errores en el Fine-Tuning de Llama 3.1 y Presentación de la Semana 6

· 2 min de lectura
Jihwan Park (jaybee)
AI & Robotics Engineer

Imagen de Portada

El 9 de abril, usando el cuaderno de Colab que completamos ayer de manera ambiciosa, finalmente intentamos el primer entrenamiento (fine-tuning) de nuestro modelo de IA (Llama 3.1). Sin embargo, la realidad no fue tan fácil y tuvimos que enfrentar numerosos errores. También fue un día difícil ya que tuvimos que crear simultáneamente los materiales de presentación para la sexta semana.

[Registro de Desarrollo Maeumjigi #8] Incidente de la Factura de Interfaz de Programación de Aplicaciones (API) y Preparación del Fine-Tuning en Colab

· 2 min de lectura
Jihwan Park (jaybee)
AI & Robotics Engineer

Imagen de Portada

El 8 de abril fue el día en que experimentamos la mayor crisis y un suceso de 'reír y llorar' mientras trabajábamos en el proyecto Maeumjigi. Fue el incidente de exceso del límite mensual y la bomba de facturación de la API de Claude.

[Registro de Desarrollo Maeumjigi #7] Optimización de Generación de Datos Sintéticos (v5) e Integración del Frontend

· 2 min de lectura
Jihwan Park (jaybee)
AI & Robotics Engineer

Imagen de Portada

El 7 de abril fue el día en que intentamos la integración ejecutando el código frontend construido por un compañero de equipo en un entorno local, y también el día en que lanzamos un script masivo usando IA para 'sintetizar' 60,000 nuevos datos de asesoramiento.

[Registro de Desarrollo Maeumjigi #6] Automatización del Informe Final de Preprocesamiento y Kickoff del Frontend

· 2 min de lectura
Jihwan Park (jaybee)
AI & Robotics Engineer

Imagen de Portada

El 5 de abril marca el día en que concluimos el arduo viaje de preprocesamiento de datos (v1~v4) generando un informe final, al tiempo que iniciamos (kickoff) el proyecto de frontend que se convertirá en el rostro del servicio web Maeumjigi.

[Registro de Desarrollo Maeumjigi #5] Purificando 100,000 Datos de Emociones y la Presión de los Costos de Interfaz de Programación de Aplicaciones (API)

· 2 min de lectura
Jihwan Park (jaybee)
AI & Robotics Engineer

Imagen de Portada

Este es el registro del 3 de abril, el día en que comenzamos en serio la tarea de refinar los datos de conversación de entrenamiento para introducirlos en el modelo de aprendizaje profundo (Llama 3.1). También fue el día en que ejecutamos una canalización masiva que hace que la IA lea el texto y juzgue la emoción por su cuenta.

[Registro de Desarrollo Maeumjigi #3] Prueba de Compilación de la App y Preprocesamiento de Fine-Tuning

· 2 min de lectura
Jihwan Park (jaybee)
AI & Robotics Engineer

Imagen de Portada

Este es el registro del 31 de marzo, cuando realizamos la prueba de compilación de Android de la aplicación de alarma de reservas, que fue la dirección inicial del proyecto Maeumjigi, mientras simultáneamente comenzábamos el preprocesamiento de datos de fine-tuning de Llama 3.1, insinuando una transición completa a un proyecto basado en IA.

[Registro de Desarrollo Maeumjigi #2] Planificación Inicial de la App y Pruebas

· 2 min de lectura
Jihwan Park (jaybee)
AI & Robotics Engineer

Imagen de Portada

Este es el registro del 30 de marzo, cuando comenzamos oficialmente a desarrollar la aplicación 'Alarma de Reservas MND Convention', que fue la idea inicial para el proyecto Maeumjigi. Basándonos en las reglas de codificación que establecimos la última vez, elaboramos un plan detallado del proyecto y sentamos las bases para el Desarrollo Guiado por Pruebas (TDD).