告別 Next-token，現在模型微調階段就能直接多 token 預測！

從 GPT 到 Claude，當前主流 LLM 都依賴next-token prediction（下一 token 預測）進行訓練，但它卻讓 AI 很難真正理解跨越多 token 的完整概念。

于是南洋理工大學最近提出了一項新技術——概念感知微調（CAFT），首次實現將multi-token prediction（多 token 預測）引入微調階段，讓模型能夠像人類一樣理解和學習完整概念。

原來 LLM 只能碎片化理解每個 token，現在 CAFT 可以為模型添加額外的輔助頭，在主模型學習下一個詞的同時，幫助學習后續 token，并通過動態調整權重，確保模型始終優先優化主要任務的損失。

最終 LLM 可以兼顧多 token 概念學習，形成更為完整的認知，在推理和生成能力增強的同時，既不會影響模型本身，也不會額外增加多余成本。

另外研究人員通過實驗發現，CAFT 在編程、數學、生物醫學等多個領域都能顯著提升模型性能，或許未來將會讓 AI 訓練范式迎來根本性轉變。

下面是有關 CAFT 的更多詳細內容。

Next-token 預測：AI 的 " 基因密碼 "

首先，next-token prediction的基本思想是在已知上下文的基礎上，預測最有可能的下一個 token。

舉個例子，針對句子 " 人工智能將改變 _"，你可能會直接預測出 " 世界 "、" 未來 " 或 " 社會 "，但是 next-token prediction 的預測流程則分為以下三步：

分詞：例如將 " 人工智能 " 拆分為 " 人工 " 和 " 智能 "。

序列建模：讓模型逐個學習每個 token 與其前文的關系。

概率預測：為所有候選 token 分配概率，并選擇最高者作為輸出。

Next-token 將會在預訓練里的大規模語料上學習語言統計規律與通識知識，然后在微調中通過特定任務數據學習具體行為模式，決定模型實際表現。

但無論是預訓練還是微調，next-token prediction 都只會在每一步中只預測下一個 token，再依次進行。

與此同時，這也帶來了一個根本性缺陷，即它將完整概念拆解為碎片，阻礙模型形成整體認知。

例如 "ribonucleic acid"（核糖核酸），Llama 3 分詞器就會將其拆解為："rib" → "on" → "ucle" → "ic" → "acid"，當模型預測 "rib" 時，無法預見 "onucleic acid"，因此無法理解這是一個生物學分子概念。

又比如說將 " 北京大學 " 拆成 " 北 "、" 京 "、" 大 "、" 學 " 分開記憶，這嚴重破壞了語義完整性。

所以 next-token prediction 存在前瞻能力差、不擅長處理跨概念的復雜推理、學習效率低、結果高度依賴具體分詞器等問題。

Meta等機構對此提出可以在預訓練階段嘗試multi-token prediction，但同樣也面臨以下限制：

預訓練成本過大，是微調階段的上千倍。

僅能提升通用語言能力，對具體概念理解幫助有限。

直接應用于微調時會造成分布偏移，從而導致性能下降。

這讓 multi-token prediction 只適用于預訓練階段，難以普及，所以研究團隊提出了新技術 CAFT，將 multi-token prediction 引入微調。

CAFT：打破瓶頸的概念感知微調方法

CAFT在架構上主要包括輔助頭、損失函數兩部分，輔助頭含獨立隱藏層，且共享輸出層，以降低參數成本，損失函數為：

其中 L 指原始 next-token 損失，β 是控制輔助損失的權重（設為 0.01，確保主任務優先），γ 是反射正弦動態調整因子，訓練初期高，后期低，α 是幾何衰減因子，越遠的 token 權重越小，t 指 token 位置。

在微調結束后，還可以直接丟棄輔助頭，讓推理開銷為零。

CAFT 采取分階段訓練策略，可分為兩個階段：

輔助頭預訓練

在原模型上添加 n-1 個輔助預測頭，然后使用通用指令數據集訓練輔助頭，分別預測第 2、3、4 …個未來 token。

其中需要使用原模型自己生成的回答作為 " 偽標簽 "，避免分布偏移，且輔助頭訓練一次即可，多任務可通用復用。

概念感知微調

在特定任務上同時優化原始預測頭和輔助頭，然后用特殊設計的損失函數確保主目標仍是第一個 token。

利用動態權重調整策略，訓練初期關注多 token 概念學習，后期聚焦任務表現。

最終 CAFT 可實現極低的使用門檻，只需要幾行代碼，就能結合任意預訓練模型，在成本上遠低于重新預訓練，只略高于傳統微調。

CAFT 的全面驗證：從代碼到生命科學

研究團隊在五個不同領域任務上測試了 CAFT，將其與傳統的 next-token 微調（包括全量微調與 LoRA 微調）進行對比。

所有結果均為 5 次獨立評估的平均值及 95% 置信區間，部分任務在微調前會對輔助頭進行 1 個 epoch 的預訓練。

在編程任務中，由于存在大量跨 token 的語義單元，例如 Python 中的 "_name_" 會被分為 "_"、"name"、"_" 三個 token，但需整體理解，所以借助HumanEval 數據集，判斷 CAFT 能否讓模型能夠整體理解這類編程概念。

實驗結果表明，LoRA CAFT 在準確率上從 40.9% 提升至 45.1%，Full CAFT 則從 40.5% 提升到 49.3%。

然后將題目按概念密度分類，發現 CAFT 在高概念密集題目上提升更顯著（+11.67%vs+7.59%），證實了概念學習的有效性。

在數學推理上，LoRA CAFT 在MATH-500 數據集里性能提升了 1.7%（22.9% 到 24.6%），Full CAFT 則是 1.5%（23.7% 到 25.2%）。

而當 CAFT 置于臨床文本中，由于醫學文本充滿復雜專業術語，被拆分后往往失去意義，此時讓 CAFT 完成醫學術語整體理解極具挑戰性。

但 CAFT 仍然在MIMIC-IV-BHC 數據集上表現良好，在 ROUGE 等指標上全面優于傳統方法，其中 ROUGE-1 從 44.57 提高到 45.93，ROUGE-2 從 22.94 提高到 24.44，ROUGE-L 從 32.17 提高到 33.76，說明其能更好地捕捉長文本中的概念。

在官能團結構理解上，由于化學分子包含功能性 " 官能團 "，如苯環、酰胺基團等，而 SMILES 序列中的官能團是典型的多 token 概念，傳統方法很難整體學習。

CAFT 可以很好地彌補這一點，準確匹配率從原來的 0.14%，提升了4 倍，到 0.54%，有效分子比例從 92.38% 改進到 97.14%，結構相似性也得到了顯著改善。

進一步進行官能團學習驗證，發現苯環識別中 F1 分數大幅提升、酰胺識別中準確率和召回率雙重改善、羧酸識別中復雜分子的識別能力增強。

另外為考驗 CAFT 泛化能力，讓 CAFT根據功能設計蛋白質序列，由于蛋白質使用氨基酸編碼，與自然語言差異極大，測試環境相當極限。

實驗結果顯示，序列同一性從 20.32% 提升到 22.14%，序列對比分數也從原來的負值（-16.01）提升到正值 ( 3.18 ) ，結構置信度從 52.60 變為 54.30，結構相似性從 33.07% 變為 35.12%。

其中，25.0% 的生成序列具有高結構置信度 ( >70 ) ，比傳統法的 20.0% 有了顯著提升。

最終，研究團隊通過在廣泛領域中實驗，驗證了 CAFT 實現 multi-token prediction 在微調階段的可行性，其易用性和低成本也展示了其可能替代現有 next-token prediction 的巨大潛力，為理解模型內部機制提供了新視角。

論文鏈接：https://www.arxiv.org/abs/2506.07833

項目鏈接： https://github.com/michaelchen-lab/caft-llm

一鍵三連「點贊」「轉發」「小心心」

歡迎在評論區留下你的想法！

— 完 —

點亮星標

科技前沿進展每日見