韓國科學技術院(KAIST)的研究人員開發了一種讀唇人工智能,能夠首先解碼清晰的單詞,然後利用這些單詞來解決模糊的詞彙,該研究論文在 2026 年語言處理會議中獲得了優秀論文獎。該技術在 LRS3 基準測試中達到了 19.4%的詞錯誤率,作者稱這是使用 LRS3 作為標註訓練數據的最佳方法。論文指出,讀唇的難度在於英語的 40 種聲音只能對應到 10 到 13 種可區分的嘴型,因此/p/、/b/和/m/看起來幾乎相同。
KAIST 表示,人工智能模型從第一個單詞寫到最後一個單詞,因此早期的錯誤猜測可能會影響後面的單詞。詞錯誤率計算錯誤、缺失或新增的單詞,與正確的文本相比,數值越低越好。KAIST 指出,這項技術可以將嘈雜的語音轉換為文本,或幫助聽障人士跟上對話進度。該論文僅測試了錄製的基準影片。
系統首先填充清晰的單詞。該系統使用了一種擴散大型語言模型,這是一種文本生成器,開始時每個單詞位置均為空白,並通過重複的遍歷填充,而不是從左到右寫入。根據論文,該模型在確信的詞彙位置上會提前進行承諾,然後利用這些詞彙作為上下文來細化不確定的詞彙。在論文的示例中,像「bags」和「trip」這樣的確信單詞有助於將「back」更正為「pack」。KAIST 表示,該團隊由羅永滿教授領導,模型的訓練分為兩個階段。
首先學習將影片中的嘴型運動與文本匹配,然後學習建模句子長度。在解碼時,模型根據影片的持續時間估算幾個可行的長度,為每個長度生成候選句子,並選擇根據長度的可能性和模型的自信度來評分最佳的句子。該團隊在 LRS3 上進行了訓練,該數據集包含 433 小時的標註 TED 和 TEDx 影片。
KAIST 的讀唇人工智能技術顯著降低詞錯誤率
使用相同的視覺編碼器,錯誤率從作者自行重現的基線 25.8%降至 19.4%。作者所聲稱的記錄僅適用於使用 LRS3 作為唯一標註訓練數據的方法。論文中的表格列出了使用更多標註影片進行訓練的系統,其錯誤率更低,其中 2024 年模型在 100,000 小時訓練下的錯誤率為 12.8%。在 WildVSR 這個超出範疇的測試集上,同一模型的得分為 39.9%。測試僅涵蓋英語,且結果尚未在發言者或人口統計子羣中進行檢查。
測試句子長度會增加解碼時間:在一個 RTX 3090 顯示卡上,耗時為影片持續時間的 0.87 倍,而不使用時為 0.14 倍,論文指出。研究人員還標示了私隱風險,因為在未經同意的情況下,靜默影片可能會推斷出語音。KAIST 表示,團隊計劃縮小模型的大小和計算成本,目標是在無需互聯網連接的可穿戴設備和機器人上實現實時使用。羅教授表示,這項工作將為物理人工智能(能夠感知和在現實世界中行動的機器)奠定基礎,讓人們能夠在日常生活中的各種設備上可靠地使用。
該研究的結果發表在會議的十月會議紀要中,會議地點位於布達佩斯。

