[Maeumjigi 心語伴侶畢業專題開發日誌 #14] 全模型微調圓滿收官與多卡平行推論評估 (Eval) 管線建置
· 閱讀時間約 2 分鐘
5 月 6 日，歷經數個不眠之夜與超參數反覆調試，我們終於從漫長的微調泥潭中成功破局！ 以 HCX-Omni-8B 與 Qwen35-9B 為代表的中輕量級垂直大模型全量微調順利收斂完工。
2 篇文章 含有標籤「HCX-Omni-8B」
檢視所有標籤[Maeumjigi 心語伴侶畢業專題開發日誌 #13] 70B 算力瓶頸與中輕量級模型 (HCX, Qwen) 戰略迂迴
· 閱讀時間約 3 分鐘
在領教了 70B 龐大參數量在微調過程中的顯示記憶體地獄後，5 月 4 日，我們果斷決定實施戰略轉向。
儘管我們曾透過將 Batch Size 壓榨至極限，勉強將 70B 模型（Llama 3.3, DeepSeek-R1）推到了 checkpoint-1200 與 1300，但極其漫長遲緩的訓練週期使得整體科研迭代效率極度低下。