Apple 研究團隊在最新論文中提出一種創新框架 LaDiR，能夠提升大型語言模型（LLM）在數學推理、程式碼生成等領域的回答品質。該框架巧妙結合擴散模型與自迴歸模型，透過並行處理多條推理路徑，生成更多樣化的候選答案。 ### LaDiR 的運作原理 傳統自迴歸模型逐一預測 token，而擴散模型則透過並行迭代多個 token 生成文字。LaDiR 在推理階段採用擴散機制，從隨機噪聲逐步精煉成連貫的隱藏推理區塊，每條路徑獨立運作，並透過專門機制鼓勵探索不同可能性，避免過早收斂至相同結論。
推理完成後，模型切換至自迴歸方式，一 token 一 token 生成最終輸出。 LaDiR 並非全新模型，而是建構於現有 LLM 之上的框架，僅改變推理過程，而非完全取代模型。研究團隊與加州大學聖地牙哥分校合作，在修訂版論文《LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning》中詳細闡述此方法。
此前，Apple 已探索擴散模型在蛋白質折疊預測與程式碼生成等應用。 在效能評估中，研究人員將 LaDiR 應用於 Meta 的 LLaMA 3.1 8B（數學推理與謎題規劃）及 Qwen3-8B-Base（程式碼生成）。數學基準測試顯示，LaDiR 準確率超越既有方法，尤其在分佈外難題上表現更優。程式碼生成基準如 HumanEval 中，LaDiR 輸出更可靠，勝過標準微調，尤其在高難度問題。
謎題規劃任務如 Countdown 遊戲，LaDiR 探索更廣泛的有效答案，並比通用基準模型更可靠地找到正確解，惟單次嘗試準確率略遜專用任務模型。論文技術細節較深，但適合對 LLM 內部機制感興趣讀者閱讀。完整論文連結：[論文連結](https://example.com)。
