[Maeumjigi 心語伴侶畢業專題開發日誌 #21] 語料混合配比黃金分割與第 4 輪微調全面打響

5 月 21 日與 22 日兩天,Maeumjigi 畢業專題團隊全量投入了針對全新高品質語料的大規模批次產生,並正式拉開了第 4 輪微調實驗 (fine_tuning_4) 的帷幕。
擺脫「情緒過敏」:同理心諮商與日常閒聊的博弈
在嚴密盲測第 3 輪微調模型時,我們捕獲了一個致命缺陷:
「使用純粹心理諮商語料微調後,模型的回覆被嚴重『情緒綁架』。如何才能在保留深層同理心的同時,捍衛模型處理日常對話的自然常識能力?」
我們的核心初衷是打造一位「傳遞溫暖同理心力量的專業心理防範自殺介入導師」。但在全量心理語料過度擬合 (Overfitting) 後,面對使用者諸如「今天天氣如何?」或「午餐吃點什麼?」等毫無負面情緒的日常隨想,大模型依然表現出過度嚴肅、沉重且充滿心理病理化傾向的回應。
為徹底打破這一失衡,我們確立了按科學配比深度混合「情緒介入語料」與「日常百科/閒聊語料」的全新實驗假說。
借助 API 批次處理高效合成 10,000 筆 v6 情緒增強語料
「參數約束:統一定長 512 Tokens / 單筆平均有效長度 500 Tokens / 涵蓋 20 種典型心理諮商人設 / 持久化目標:v6.jsonl」
為了鍛造最頂級的訓練集,我們呼叫 Anthropic API (Haiku) Batch 批次模式,一口氣合成了整整 10,000 筆長程心理對話資料 (Emotion_train_dataset_v6.jsonl)。中間雖歷經非同步批次無進度回傳的緊張焦慮,但借助補全校驗指令碼 (fill_v6.py) 成功補齊了所有樣本。
探尋黃金分割率:第 4 輪多比例矩陣微調
「1 萬筆 Emotion_train_dataset_v6 已就緒。請分別按 7:3、2:1 以及 5:5 比例混合日常與情緒語料。」 「本次 fine_tuning_4 擺脫單純調整 LoRA Alpha,轉向以語料混合比例 (mixed_2_1, mixed_5_5, mixed_7_3) 作為核心自變數展開橫向對抗實驗。」

第 4 輪微調自此化身為一場驗證「日常常識」與「專業同理心」能否達成最完美動態平衡的技術競技場。三組異質資料集被注入 Qwen3.5-9B 底座,新一輪 GPU 矩陣訓練轟鳴打響!
