[マウムジギ 開発日誌 #15] 5モデルのファインチューニング結果の視覚化とローカル環境構築

5月7日は、これまで苦労してファインチューニングした計5つのモデル（Llama3.3-70B, DSR1-70B, HCX-Omni-8B, Qwen35-9B, HCX-Text-1.5B）の結果を集大成し、本格的な視覚化とローカル環境の構築を進めた日です。

モデル比較のための視覚化とローカル環境設定

これまで重いサーバー上で回していた結果比較コードを、個人のノートパソコンでも簡単に確認できるように、新しく31_comparison_local.ipynbノートブックを作成しました。

「30_comparison.ipynbは私のノートパソコンでも動かせるのではないか？」

VSCodeでローカルのJupyterカーネルを設定し、必要なライブラリをインストールする過程で、頻繁なカーネルのクラッシュやModuleNotFoundErrorのようなエラーに直面しましたが、フォルダパスを合わせながら一歩一歩解決していきました。

5モデル総合レポートとグラフ視覚化

最も重要な作業は、これら5つのモデルのパフォーマンスを一目で比較できる視覚化でした。AIと共に計画書を作成し、体系的にデータ整理を始めました。

「薄い線と太い線の違いは何か？各モデルのtraining lossとeval lossを取得してグラフとして視覚化して。」 「太い線は消して、薄い線をはっきりと変更して保存して。」

AIが描いてくれたmatplotlibのグラフから不要なトレンド線（太い線）を取り除き、モデルごとのTraining LossとEval Lossの曲線をきれいに1か所にまとめた03_training_loss_all.pngと04_eval_loss_all.pngを最終的に抽出しました。

これらのグラフを基に、来週のキャップストーンデザインの中間発表資料を立派に飾ることができるようになりました。果たして、この5つのモデルのうちどれが最も優れた「マウムジギ」チャットボットとして最終選定されるのでしょうか？