[Maeumjigi 心語伴侶畢業專題開發日誌 #17] 第二輪微調勝利收官與自動化評估管線的硬編碼陷阱
· 閱讀時間約 2 分鐘
為了撥亂反正、糾正 LoRA 超參數配比倒置而倉促啟動的第二輪微調 (fine_tuning_2) 多卡平行長跑，終於在 5 月 12 日迎來了勝利的曙光！
2 篇文章 含有標籤「檢查點」
檢視所有標籤[Maeumjigi 心語伴侶畢業專題開發日誌 #13] 70B 算力瓶頸與中輕量級模型 (HCX, Qwen) 戰略迂迴
· 閱讀時間約 3 分鐘
在領教了 70B 龐大參數量在微調過程中的顯示記憶體地獄後，5 月 4 日，我們果斷決定實施戰略轉向。
儘管我們曾透過將 Batch Size 壓榨至極限，勉強將 70B 模型（Llama 3.3, DeepSeek-R1）推到了 checkpoint-1200 與 1300，但極其漫長遲緩的訓練週期使得整體科研迭代效率極度低下。