[마음지기 캡스톤 개발일지 #21] 데이터 혼합 비율 최적화와 4차 파인튜닝 돌입

5월 21일과 22일, 마음지기 캡스톤 팀은 대규모 데이터 생성과 4차 파인튜닝(fine_tuning_4) 준비에 돌입했습니다.

감성 대화와 일상 대화의 줄다리기

3차 파인튜닝 모델을 테스트하던 중 치명적인 문제점을 발견했습니다.

"haiku_pred 데이터셋으로 파인튜닝을 하면 대답이 감성 상담에 너무 치중되는 것 같습니다. 본래 모델의 일상 대화 능력을 유지하기 위해서는 어떻게 파인튜닝하는 게 좋을까요?"

우리가 목표로 하는 것은 '따뜻한 공감을 전하는 자살 예방 상담사'이지만, 사용자가 일상적인 질문("오늘 날씨 어때?", "밥 뭐 먹을까?")을 던졌을 때도 지나치게 심각하고 감성적으로 대답하는 오버피팅(Overfitting) 징후가 보였습니다.

이를 해결하기 위해 감성 데이터와 일상 데이터를 적절한 비율로 섞어 학습시키는 실험을 기획했습니다.

10,000건의 v6 감성 데이터셋 API 자동 생성

"1. 512 토큰 통일 / 건당 평균 토큰: 500토큰 / 페르소나 종수: 20종 / 저장 파일명: v6.jsonl" "내 10달러가 사용되었는데 어디에 어떻게 쓰였고 결과가 무엇인지 확인도 못해!"

최고의 데이터셋을 만들기 위해 Anthropic API (Haiku) Batch 모드를 사용해 무려 10,000건에 달하는 감성 대화 데이터셋(Emotion_train_dataset_v6.jsonl)을 생성했습니다. 중간에 API 배치가 백그라운드에서 돌아가며 진행 상황을 알 수 없어 답답해하는 해프닝도 있었지만, 부족한 건수를 추가 스크립트(fill_v6.py)로 꽉꽉 채워 10,000건을 완성했습니다.

감성 vs 일상 황금비율 찾기 (fine_tuning_4)

"Emotion_train_dataset_v6.jsonl 1만 줄이 완성되었습니다. 그럼 7:3 비율의 훈련 데이터셋 하나와 2:1 비율 하나, 마지막으로 5:5 비율 데이터셋 하나 만들어주세요." "이번 파인튜닝(fine_tuning_4)은 alpha 값이 아닌 훈련 데이터셋 혼합 비율(mixed_2_1, mixed_5_5, mixed_7_3) 기준으로 훈련을 진행합니다."

이제 4차 파인튜닝은 어떤 데이터 비율이 AI의 '일상성'과 '전문성(상담)'을 가장 완벽하게 조화시킬 수 있는지 검증하는 무대가 되었습니다. mixed_7_3, mixed_5_5, mixed_2_1 세 가지 버전의 데이터셋을 생성하고 Qwen3.5-9B 모델에 주입하기 시작했습니다!