Meta 技術負責人深入解析 AR 眼鏡的突破與挑戰
Jinsong Yu 是一位經驗豐富的軟件工程師，曾在多家知名科技公司如 Google、Microsoft 和 Meta 負責多款產品的開發。在 Meta，他參與了智能眼鏡 Ray-Ban Meta 和 AR 眼鏡 Orion 項目的軟件開發工作。近期，InfoQ 分享了他在 QCon London 的演講，主題為 Orion AR 眼鏡的深層架構見解，詳細闡述了為散熱而使用的 11 個定制微控制器、實現世界鎖定渲染所需的 SLAM/VIO 技術，以及輸入融合的方式。
他也為技術領導者提供了設置方向、通過測試管理複雜性以及戰略性軟硬件協同設計的關鍵經驗。
當前我們首先要談論的是 Orion。在深入技術細節之前，Yu 引入了一些基本術語，包括虛擬現實（VR）、混合現實（MR）和增強現實（AR）。他指出，VR 是一種完全沉浸在虛擬世界中的體驗，而 MR 則是在物理環境中使用攝像頭顯示虛擬內容，AR 則是透過透明的鏡片將虛擬內容疊加在現實世界中。
Yu 強調，Orion 是一款全功能的原型眼鏡，具備許多技術挑戰。他表示，這款眼鏡的設計要求包括重量低於 100 克、廣視場角和全息顯示等。
這些眼鏡不僅需要讓使用者看到物理世界，還需能讓他人通過鏡片看到使用者的眼睛，以便進行眼神交流。
隨著產品的介紹，Yu 提到 Orion 的顯示技術，這是他們花了數年時間才完善的技術。他們選擇了位於鏡腿的 Micro LED 投影儀，並為其定制了極小的像素，這在行業內尚屬首次。這些光子會從 Micro LED 投影儀發射，進入鏡片內部反射，最終射入使用者的眼睛。
此外，Orion 眼鏡還配備了多個攝像頭和無線連接功能，具備約 2 小時的電池續航時間。Yu 指出，這款眼鏡內部沒有任何空隙，所有空間都被微電子元件填滿。
他們使用了 11 個定制微控制器單元來處理計算任務，以便在減少熱量產生的同時保持眼鏡的輕便性。
Yu 隨後介紹了 EMG 腕帶的運作方式。這款腕帶能夠通過檢測肌肉活動的微弱電信號來識別手勢。這種非侵入性的設計使得使用者只需佩戴腕帶即可進行手勢操作，並且腕帶的電池壽命可達 18 小時。
最終，他提到的計算模塊是一個標準的計算架構，實際上運行的是沒有顯示器的 Android 系統。這個模塊負責所有重要的業務邏輯和呈現邏輯，與眼鏡和腕帶共同協作，構建出完整的 AR 體驗。
在演講的後半部分，Yu 討論了世界鎖定渲染的技術挑戰，這是 AR 鏡頭特有的特性。
他解釋了如何使用 SLAM 和 VIO 技術來準確定位虛擬物體在物理空間中的位置，並確保使用者在移動時，虛擬內容能夠流暢地保持在正確的地方。
Yu 也分享了輸入模式的多樣性，包括眼動追踪、手部追踪、EMG 和語音指令等，這些模式的結合能夠提供最佳的用戶體驗。經過多年的技術發展，Yu 對 AR 的未來提出了他個人的預測，認為未來將會有多種不同形狀和規格的產品進入市場。
這場演講不僅展示了 Meta 在 AR 領域的技術創新，也分享了 Yu 在項目進行過程中的寶貴經驗和教訓。
