2 篇文章 含有標籤「超參數」

5 月 8 日，原本是我們基於此前的全量微調成果緊鑼密鼓趕製畢業專題中期簡報投影片 (PPT) 的關鍵日子。 然而，正在滿懷欣喜填充評測表格時，我們卻突然揪出了一個令人毛骨悚然、顛覆前期結論的技術暗傷！

在領教了 70B 龐大參數量在微調過程中的顯示記憶體地獄後，5 月 4 日，我們果斷決定實施戰略轉向。 儘管我們曾透過將 Batch Size 壓榨至極限，勉強將 70B 模型（Llama 3.3, DeepSeek-R1）推到了 checkpoint-1200 與 1300，但極其漫長遲緩的訓練週期使得整體科研迭代效率極度低下。