MPEG-I 沉浸式音頻標準介紹
MPEG-I沉浸式音頻是由國際標準化組織運動圖像專家組制定的一套國際標準，其核心目標是為虛擬現實和增強現實世界創造極其逼真、動態和互動的 3D 聲音體驗。隨著虛擬現實和增強現實逐漸步入主流應用，一場讓沉浸式體驗真正逼真化的競賽正在進行，這不僅限於視覺，更包括聽覺。MPEG-I沉浸式音頻的出現旨在重新定義聲音如何塑造人們對數字世界的體驗。 該標準近期已由MPEG音頻小組最終確定，定義了聲音在3D空間中的行為方式，為虛擬現實和增強現實實現自然、動態且逼真的音頻效果。無論是體育、遊戲、培訓、現場音樂會，還是虛擬旅行和沉浸式社交體驗，MPEG-I為這個時代奠定了基礎，沉浸式音頻將如同環繞四周的視覺影像般真實且易於獲取。 新標準支持完整的六自由度移動，這意味著當用戶轉身、行走或環顧四周時，聲音會自然地隨之調整，同時保持足夠輕量，以實現高效的流媒體傳輸和即時渲染。MPEG-I能模擬真實的聲學環境，包括早期反射、混響、聲學遮蔽、衍射和多普勒效應，使得在VR/AR中的導航體驗更加真實。 MPEG-I沉浸式音頻的建模能力將有助於創作者、開發者和最終用戶更易於獲得和普及高質量的沉浸式體驗。
想像一下，當穿過虛擬體育場時，聽到人群的歡呼聲根據位置逼真地變化；或者在虛擬音樂會中，聲音隨著用戶在空間中的移動而做出相應反應。該標準將在VR和AR中實現逼真的音頻體驗，並確保跨設備和跨服務生態系統的互操作性，從而提高生產效率並降低成本。 在AR和VR中，用戶能完全沉浸在周圍的聲學環境中，並可以在聲場中導航，音頻聲源保持在其各自位置上。VR音頻重現將用戶帶入完全虛構的聲學環境，而在AR重現中，物理聲音環境會以合理的方式與額外的虛擬聲音相輔相成。 MPEG-I沉浸式音頻的支撐技術包括後期混響渲染、增強現實支持及多個HOA采樣的渲染。
後期混響是首個為VR和AR應用打造的沉浸式版本，能為物理聲學環境自動配置，並支持互聯環境。AR支持通過聆聽空間信息接口實現，使應用程序能夠配置物理聆聽空間的虛擬表示。 最後，多個HOA信號采樣的渲染使最終用戶能夠體驗到完整保真的6DoF環境，這些環境是實時采集的，無需昂貴的預制作成本。MPEG-I沉浸式音頻能夠從音頻場景錄製區域中離散位置采集的HOA信號，自動創建一個連續的音頻場景，旨在使新的VR/AR及擴展現實應用成為可能，實現沉浸式音頻重現自我配置。 標準化的沉浸式音頻技術正在解鎖新的可能性和目標市場，目前已經邁出了重要的第一步，使參考渲染軟件能在消費級移動設備上運行，允許用戶能夠在其安卓設備上體驗新穎的AR和VR體驗。
團隊正在進一步開展工作，以實現用移動設備為MPEG-I沉浸式音頻采集空間音頻，最終允許消費者能夠采集完整的六自由度場景。標準化的下一步是根據關鍵用例的應用開發者反饋，進一步開發渲染技術。
