メインコンテンツまでスキップ

「Llama3.3-70B」タグの記事が1件件あります

全てのタグを見る

[マウムジギ 開発日誌 #12] 70B超大型モデルのファインチューニングとGPUメモリ(OOM)との死闘

· 約3分
Jihwan Park (jaybee)
AI & Robotics Engineer

カバー画像

5月3日、これまで8Bモデルで十分に感覚を掴んだ私たちのチームは、ついに真のパフォーマンスの王様、**70B(700億パラメータ)**超大型モデルのファインチューニングに挑戦しました。Llama 3.3 70BとDeepSeek-R1 70Bの2つのモデルを対象に学習を試みましたが、予想通り膨大なハードウェアリソースの壁にぶつかってしまいました。