[マウムジギ 開発日誌 #11] 合成データ(v5)訓練結果 M6モデルの評価

4月19日、血と汗を流して作り上げた仮想の合成データセット（v5）で訓練させたモデル（M6）のパフォーマンスを評価し、それを基に7週目の週間報告書を作成した日です。果たして10ドルの課金爆弾に耐えながら作り出したデータには、それだけの価値があったのでしょうか？

モデル性能の真剣勝負：M0 vs M5 vs M6

• 問題: 指導教授やチームメンバーを説得するためには、単に「良くなった」ではなく、定量的なテスト結果と直感的な比較例が含まれた週間報告書が必要でした。
• 過程:

  「報告書の再作成願う。主要なポイントはv4をベースにしたM5とv5をベースにしたM6の比較である... 各データセットの例を含めて作成願う。」 「テスト結果について記述する際、チューニング前の基本モデル(M0)とM6の違いも例を挙げた説明を含めて。」

• 結果: 人工知能(AI)がM0、M5、M6モデルが生成したテキスト結果を分析し、比較ファイル（m0_m6_compare.json）を抽出しました。その結果、基本Llama 3.1モデル（M0）は韓国語のカウンセリングにおいて多少ぎこちない姿を見せ、精製データ（v4）で学習したM5は改善されましたが深みが不足していたのに対し、高品質合成データ（v5）で学習したM6モデルは、ユーザーの感情に深く共感する心理カウンセラー特有の温かく専門的な口調を完璧に駆使しました。

AIが代わりに書いてくれる7週目週間報告書 (DOCX)

• 過程:

  「結果と意義に重点を置いて7週目の報告書を2つのバージョン（5ページ以内の簡潔バージョン、詳細バージョン）で作成してください。そして2つのmdを基にそれぞれdocxファイルを生成して。」

• 結果: 指示一度で2つのバージョンがあっという間に完成し、綺麗なWordファイルへの変換まで完了しました。

RAGアーキテクチャの導入：FAISS データベース(DB)構築評価

• 過程:

  「FAISS_DB_構築を実行し、FAISS_DB_構築_報告書.docxを作成しました。私たちの計画と該当報告書の結果について評価してください。」

• 結果: 単にモデルの重みを削るファインチューニングだけでなく、外部知識を参照してハルシネーション（幻覚）を減らすRAG（検索拡張生成）手法のために、FAISSベクトルデータベースを導入しました。AIに私が構築した構造を評価してほしいと要請し、肯定的なフィードバック（FAISS_DB_構築_評価.md）を受けました。

今日はこれまでの苦労が報われた日でした。訓練させたAIモデルが本当に目に見えて賢くなったのを確認した時のそのスリルとは！モデル性能も証明し、FAISS DBまで正常に連動されたので、マウムジギチャットボットの完成にまた一歩近づきました。