無透鏡超薄眼動追蹤系統FlatTrack的研發進展

(映维网Nweon 2025年05月28日)眼動追蹤技術在增強現實(AR)和虛擬現實(VR)系統中扮演著關鍵角色。印度理工學院馬德拉斯分校、 美國萊斯大學及北卡羅來納大學教堂山分校的研究團隊提出了一款基於無透鏡攝像頭的緊湊型眼動追蹤器,該系統具備超扁平和輕量化的特點,能夠安裝在眼鏡框架內,並且能夠靠近眼睛進行操作。

該攝像頭與輕量級深度神經網絡算法相結合,經過大量近眼無透鏡攝像頭測量數據的收集及校準,成功訓練出注視點追蹤網絡。實驗結果顯示,這一系統的性能與傳統透鏡眼動追蹤器相當,並且在形狀參數上更為平坦和緊湊,注視回歸器的追蹤性能可達到實時(>125 fps)。

眼動追蹤技術能夠精確追蹤用戶的視線位置,從而促進更自然的交互體驗,例如基於視線的選擇和控制界面,增強用戶與虛擬環境的互動。此外,這項技術還可以優化系統資源的使用,僅在用戶目光對焦的區域渲染高分辨率圖形,這一過程稱為注視點渲染,能顯著提高顯示性能和減少計算負載,使AR/VR體驗更加流暢和沉浸。

儘管眼動追蹤技術在近年來取得了顯著進展,但仍面臨著多項挑戰,例如提高準確性和可靠性,並解決物理尺寸限制問題。光學元件如透鏡和濾光片會影響設備的整體尺寸,並且可能引發隱私問題,因為眼動追蹤可能會洩露用戶的敏感信息。

為了解決這些問題,研究團隊提出了一種無透鏡的視線追蹤原型,具有小尺寸、低成本、輕便及隱私保護等優勢。無透鏡成像技術利用光學信號與算法的結合,突破了傳統光學系統對複雜透鏡組的依賴,無需透鏡參與,通過衍射光學元件對光線進行調制,並利用數學方法進行圖像重建。

在無透鏡成像中,透鏡被薄、輕、便宜的光學編碼器取代,從而實現小型化攝像頭的設計。無透鏡攝像頭通過先進的計算重建算法從捕獲的傳感器數據中恢復場景,並且在數字後處理過程中,後處理與光學成像硬件和算法軟件的設計相結合,提供了更高的隱私保護。

研究團隊使用近紅外PhlatCam開發了超薄近眼追蹤器,並收集了首個包含近2萬對無透鏡捕獲和校準注視矢量的大型數據集。為了評估該方法的有效性,團隊提出了一種兩階段的方法來估計無透鏡捕獲的注視點,實驗結果顯示無透鏡攝像頭能夠構建高保真的緊湊注視追蹤器。

在進一步的研究中,團隊提出了FlatTrack數據集,利用自定義的無透鏡注視估計管道進行評估,顯示無透鏡注視估計可以達到高保真度,並且相關算法能在典型的GPU上以約125 fps的速度運行。無透鏡攝像頭的超薄和輕便特性使其在AR/VR等領域具有廣泛的應用潛力,但目前的注視估計研究尚未充分利用這一優勢。

更多 Wearable 消息 / 配件開箱
按此即做速度測試:香港網速測試 SpeedTest HK
https://www.techritual.com/speedtest/

Henderson
Henderson
Henderson 主要擔任「炒稿記者」的職責,以翻譯最新科技,手機 電動車等消息為每天的工作。