跳至主要内容

1 篇文章 含有標籤「GPU」

檢視所有標籤

[Maeumjigi 心語伴侶畢業專題開發日誌 #12] 70B 超大模型領域微調與 GPU 顯示記憶體 (OOM) 極限拉鋸戰

· 閱讀時間約 3 分鐘
Jihwan Park (jaybee)
AI & Robotics Engineer

封面圖

5 月 3 日,在徹底摸透 8B 小參數模型的技術脈絡後,我們團隊終於向大型語言模型的效能天花板發起衝鋒——挑戰 70B (700 億超大參數量) 模型的領域微調。 我們同時鎖定了 Llama 3.3 70B 與 DeepSeek-R1 70B 兩大旗艦底座,但不出所料,瞬間迎面撞上了嚴苛的物理顯示記憶體高牆。