[Maeumjigi 心语伴侣毕业设计开发日志 #15] 5 大模型微调成果全景可视化与本地评测环境搭建
· 阅读需 3 分钟
5 月 7 日，我们对倾注心血完成微调的 5 大代表性大模型（Llama 3.3-70B、DSR1-70B、HCX-Omni-8B、Qwen35-9B、HCX-Text-1.5B）的实验数据进行了全景汇总， 并全面展开了深度可视化与轻量化本地评测环境的搭建。
2 篇博文 含有标签「AI」
查看所有标签[Maeumjigi 心语伴侣毕业设计开发日志 #13] 70B 算力瓶颈与中轻量级模型 (HCX, Qwen) 战略迂回
· 阅读需 3 分钟
在领教了 70B 庞大参数量在微调过程中的显存地狱后，5 月 4 日，我们果断决定实施战略转向。
尽管我们曾通过将 Batch Size 压榨至极限，勉强将 70B 模型（Llama 3.3, DeepSeek-R1）推到了 checkpoint-1200 与 1300，但极其漫长迟缓的训练周期使得整体科研迭代效率极度低下。