[마음지기 캡스톤 개발일지 #9] Llama 3.1 파인튜닝 에러 사투와 6주차 중간발표

4월 9일, 어제 야심 차게 완성한 Colab 노트북을 이용해 드디어 인공지능 모델(Llama 3.1)의 첫 학습(파인튜닝)을 시도했습니다. 하지만 현실은 역시 호락호락하지 않았고 수많은 에러와 마주해야 했습니다. 동시에 캡스톤 디자인 6주차 중간발표 자료까지 만들어야 했던 험난한 하루였습니다.

Colab 파인튜닝 에러와의 끝없는 사투

• 문제: 어제 만든 llama31_finetuning_colab.ipynb를 실행하자마자 각종 에러가 쏟아졌습니다.
• 과정:

  "llama31_finetuning_colab (3).ipynb에서 M1 파인튜닝 진행 중 오류가 발생한 이유가 무엇일까요?" "실행한 결과에 eos_token이 포함되어 있습니다. 왜 이런 문제가 발생할까요?"

• 결과: AI 모델이 학습 데이터를 토해내는 과정에서 특수 토큰(eos_token) 처리가 제대로 되지 않는 문제, 메모리 오버플로우 문제 등이 연달아 발생했습니다. 발생한 에러 로그 전체를 Claude에게 복사해서 던져주고(Pasted text) 해결책을 받아 코드를 수정하는 과정을 수차례 반복했습니다. 결국 우여곡절 끝에 학습이 완료되었고, 학습데이터별학습결과.png라는 의미 있는 결과 그래프를 뽑아낼 수 있었습니다!

AI 비서의 발표 자료(PPT) 만들기

• 문제: 모델 훈련으로 밤을 새우고 있는데 당장 다음 주 발표를 위한 6주차 프론트엔드 및 데이터베이스 진행 상황 PPT를 만들어야 했습니다.
• 과정:

  "캡디_6주차_Frontend.pptx는 지금까지 진행한 개요를 소개하는 이미지 모음입니다. 이를 활용하여 이번 주 진행 상황 발표 자료를 만들어주세요." "데이터베이스 설계의 Table들이 backend에 구현된 테이블의 관계를 참고하여 관계가 보이도록 표현해 줘... 표가 너무 크고 중구난방입니다. User 테이블을 중심에 배치해 주세요."

• 결과: 놀랍게도 AI는 프론트엔드 이미지 스크린샷들을 엮어 발표 스크립트와 슬라이드 뼈대를 만들어 주었습니다. 심지어 제가 백엔드 코드를 기반으로 복잡한 데이터베이스 ERD(Entity Relationship Diagram)를 그려달라고 집요하게 피드백(User 중심 배치)을 주자, 완벽하게 데이터베이스 관계도까지 정리해서 설명해 주었습니다.

오늘은 Llama 3.1이라는 최신 언어 모델을 직접 내 손(과 AI의 머리)으로 튜닝해 보는 쾌감을 느낀 날입니다. 동시에 코딩뿐만 아니라 발표 자료 제작, DB 아키텍처 다이어그램 설계까지 AI를 100% 활용하는 방법을 터득해 가고 있습니다. 과연 우리 마음지기 AI는 얼마나 똑똑해졌을까요? 다음 시간에 그 테스트 결과를 공개합니다!