來自康奈爾大學和KAIST的研究人員開發了一種系統，利用人工智能驅動的聲納將普通智能手錶轉變為手部追蹤設備。這項名為WatchHand的技術，利用市面上智能手錶內置的揚聲器和麥克風，實時追蹤手指和手腕的動作。該系統通過從智能手錶發出不可聽見的聲波，這些聲波在用戶的手上反射後返回麥克風，形成回聲輪廓。機器學習算法直接在設備上處理這些數據，從而估算手部姿勢的三維信息。
與依賴攝像頭或笨重外部傳感器的現有可穿戴手部追蹤系統不同，WatchHand不需要額外的硬件，使其在日常使用中顯得更加實用，並且能夠擴展到數百萬台現有設備。研究人員表示，目標是將人手本身變成與計算機和其他數字系統互動的輸入設備，從而減少對鍵盤、鼠標和觸摸屏的依賴。
未來，通過這種手部追蹤技術，或許能夠僅用智能手錶追蹤打字動作，康奈爾大學的博士生及研究的共同首席作者Chi-Jung Lee表示。我們的手可以作為與計算機互動的輸入設備。該系統在四項獨立研究中對40名參與者進行了測試，收集了約36小時的手勢數據。該系統在多款智能手錶上進行了評估，涵蓋不同的手部姿勢和噪雜環境。結果顯示，WatchHand能夠在多種條件下可靠地追蹤手指動作和手腕旋轉。
這項技術可以促進一系列應用，包括計算機的手勢控制、增強現實和虛擬現實系統，以及為行動或語言能力有限的用戶提供輔助工具。KAIST的博士生及研究的共同首席作者Jiwan Kim表示，WatchHand大大降低了手部姿勢追蹤的門檻。如果任何設備擁有一個揚聲器和麥克風，我們的方案都是適用的。
該系統在智能手錶上本地處理所有數據，解決了與雲端追蹤系統相關的隱私問題。這樣也降低了延遲，實現了無需外部計算即可進行實時互動。然而，這項技術目前仍存在限制，僅適用於基於Android的智能手錶，並且在用戶移動（例如行走）時難以保持準確性。研究人員正在努力改善在這些情況下的性能。
康奈爾大學的副教授Cheng Zhang表示，WatchHand反映了我實驗室的更廣泛願景，即將日常可穿戴設備轉變為智能行為感知平台。這項研究建立在可穿戴設備中向聲學感應轉變的更大趨勢上，與基於視覺的系統相比，聲學感應在能效和準確性上具有優勢。Zhang指出，通過一次軟件更新，我們有潛力為數百萬台現有設備解鎖全新的功能。該研究將在ACM CHI人因計算系統會議上發佈。
