研究人員來自東北大學及香港大學,針對角色在語音表達中的肢體動作真實性問題,開發了一套名為 DynaConTalk 的新系統。此係統可將口語轉換為流暢的三維動作,並創造出更為真實的肢體動作,涵蓋身體各部位的流暢動作,而不僅限於手部動作。透過此係統,角色可以更自然地變換姿勢、手指及面部表情,從而提升角色的真實感。然而,實現這些動作的真實性並不容易,因為大幅度的肢體動作及小幅度的面部和手部動作發生的速度不同,若動畫系統不同步,便可能出現重複的動作、僵硬的姿勢或突然而劇烈的動作變化。
為瞭解決這個問題,研究團隊將動作分為慢速和快速元素,從而確保動作的同步性,避免大動作與小動作之間的沖突。該系統考慮了語音的節奏、音質及所講述的內容,以決定應該產生哪些動作。此外,透過利用先前的動作來指導後續動作,也能保持動作的流暢性,避免出現突變的情況,因為角色在持續講話的同時,動作會保持連貫性。用戶還可以指定身體的初始姿勢或提供參考動作,這種程度的控制對於希望角色以特定風格或方式移動的藝術家及開發者來說,具有實用價值。
DynaConTalk 系統在動作表達中的應用潛力
該系統能有效管理口語與動作之間的連結。系統在兩個公共數據集(BEAT2 和 SHOW)上進行測試,並組織了包含 30 名參與者的人類評估。參與者觀看了由三個不同系統生成的影片,並對 15 個語音示例進行評估。結果顯示該系統在所有四個類別中平均得分最高,所創造的動作與人類動作的分佈更為相似,這基於自然性、與口語的相關性、同步性及多樣性。
這些成果對於開發影片遊戲、電影、虛擬主持人及在線學習的開發者而言,具備潛在的價值。例如,講師可以擁有與其口頭解釋的節奏和意義相匹配的手部及面部動作。類似技術可用於提升在線演示中虛擬角色的真實感。然而,該系統在實現真實性方面仍面臨挑戰,目前的數據集中缺乏大幅度的肢體動作範例。僅憑口語並不足以為動畫系統提供足夠的資訊,以確定角色的具體動作方向,雖然一個句子能顯示情感或意圖,但並未指明角色應該向前移動、轉身或前往其他地方。
研究團隊希望能探討更大規模的動作數據集,並添加有關動作路徑的額外資訊,他們也希望將此技術擴展至如行走等活動。這項研究將於 2026 年在馬來西亞吉隆坡舉行的 SIGGRAPH Asia 會議上展示,會議日期為 12 月 1 日至 4 日。研究結果已在《ACM Transactions on Graphics》期刊上發表。

