跳到主要内容

1 篇博文 含有标签「Llama3.3-70B」

查看所有标签

[Maeumjigi 心语伴侣毕业设计开发日志 #12] 70B 超大模型领域微调与 GPU 显存 (OOM) 极限拉锯战

· 阅读需 3 分钟
Jihwan Park (jaybee)
AI & Robotics Engineer

封面图

5 月 3 日,在彻底摸透 8B 小参数模型的技术脉络后,我们团队终于向大语言模型的性能天花板发起冲锋——挑战 70B (700 亿超大参数量) 模型的领域微调。 我们同时锁定了 Llama 3.3 70B 与 DeepSeek-R1 70B 两大旗舰底座,但不出所料,瞬间迎面撞上了严苛的物理显存高墙。