「HCX-Omni-8B」タグの記事が2件件あります

5月6日、ついに長く続いたファインチューニングの沼から抜け出しました！数日間の徹夜作業とハイパーパラメータの調整の末、HCX-Omni-8BやQwen35-9Bなどの中小型モデルの学習が成功裏に完了しました。

70Bという巨大なモデルのファインチューニング過程で発生したOOM（メモリ不足）の地獄を経験した5月4日、私たちは思い切った戦略変更を試みました。70Bモデル（Llama3.3, DeepSeek-R1）はバッチサイズを極端に減らして辛うじてcheckpoint-1200, 1300まで進めましたが、学習時間がかかりすぎて効率が最悪でした。