洛斯阿拉莫斯國家實驗室的研究人員開發了一種新工具，名為「初步注意分數」（Prelim Attention Score，簡稱 PAS），旨在幫助檢測視覺語言模型的輸出是否基於圖像的內容，以及其是否過度依賴自身生成的文本。該系統被視為提升視覺語言模型安全性和可信度的一種手段。洛斯阿拉莫斯的計算機科學家馬尼什·巴塔賴（Manish Bhattarai）表示：「PAS 是一種實時的即插即用指標，充當人工智能的內部監控工具。
該系統與主要現有的視覺語言模型兼容，並且所需的額外計算開銷極小，成為檢測潛在幻覺的高效方法。PAS 在捕捉幻覺方面達到了最先進的準確性，為開發者提供了一條通往更安全及更值得信賴的多模態人工智能系統的實用途徑。」
追蹤模型的回答來源
目前使用的視覺語言模型大多是自回歸的。它們生成每個新標記或詞語時，部分依賴於已經生成的詞語。雖然這一過程有助於模型形成連貫的回應，但也可能導致系統過度依賴自身的先前輸出，而非圖像本身。PAS 監控視覺語言模型對每個標記的預測，通過這種方式，幫助識別模型信息的來源以及幻覺可能出現的地方。該工具然後提供一個分數，以提醒用户其輸出中可能存在幻覺的情況。
PAS 提供有效的幻覺檢測解決方案
低開銷的幻覺檢測器
許多自回歸的視覺語言模型基於變壓器架構，這是一類使用注意模式來加權信息的深度學習神經網絡。洛斯阿拉莫斯團隊研究了這些模型如何關注圖像、文本提示及模型自身生成的初步詞語。當 PAS 集成到視覺語言模型的工作流程中時，它可以與模型一起運行以處理請求。對於對圖像和文本輸入的響應中的物體提及，PAS 計算一個基於注意的分數，顯示模型對其先前生成的詞語的依賴程度。PAS 分數越接近零，模型生成幻覺的可能性就越小。
洛斯阿拉莫斯實習生黃宣日（Xuan Nhat Hoang）表示：「通過理解視覺語言模型如何關注初步信息，PAS 可以幫助識別模型開始過度依賴自身詞語的確切實例。我們的工具讀取人工智能已經生成的信號，代表一種低開銷的方式來確保信息的可靠性和實用性。」
視覺工作流程的可靠性檢查
PAS 可以應用於分析圖像、文件、圖表和文本的視覺語言模型。在這方面，研究人員表示，它最終可能在醫學影像、科學文件分析、工程圖紙、遙感以及其他可能影響下游決策的視覺工作流程中支持可靠性檢查。洛斯阿拉莫斯團隊將在本月於丹佛舉行的 IEEE 和計算機視覺基金會主辦的計算機視覺與模式識別會議上介紹 PAS。該項工作得到了洛斯阿拉莫斯實驗室指導研究與發展計劃的支持。
