2 篇博文 含有标签「超参数」

5 月 8 日，原本是我们基于此前的全量微调成果紧锣密鼓赶制毕业设计中期答辩幻灯片 (PPT) 的关键日子。 然而，正在满怀欣喜填充评测表格时，我们却突然揪出了一个令人毛骨悚然、颠覆前期结论的技术暗伤！

在领教了 70B 庞大参数量在微调过程中的显存地狱后，5 月 4 日，我们果断决定实施战略转向。 尽管我们曾通过将 Batch Size 压榨至极限，勉强将 70B 模型（Llama 3.3, DeepSeek-R1）推到了 checkpoint-1200 与 1300，但极其漫长迟缓的训练周期使得整体科研迭代效率极度低下。