Meta 早前為 Quest 3 發佈了一款開源語言學習應用《Spatial Lingo》，該應用結合了混合現實透視功能與 AI 驅動的物體識別技術。近期，團隊從技術角度分享了這款應用如何利用 MR 與 AI 技術。
無論是在家、辦公室還是戶外，《Spatial Lingo》都將周圍環境轉變為互動教室，活潑的 3D 夥伴樂樂全程引導，令學習如同冒險。 《Spatial Lingo》的技術架構 《Spatial Lingo》展示了透視攝像頭 API 與多種 AI 技術在 Meta Quest 平台上的結合。以下是其主要功能：
用戶可以在 GitHub 的開源項目中替換為自己的模型和 AI API 進行翻譯。樂樂的對話由 Llama 4 Maverick 生成，並通過 Voice SDK 轉換為語音，提供動態的反饋和鼓勵。 開源資源
《Spatial Lingo》是開源的，開發者可以嘗試、貢獻，並在此基礎上進行構建。
用戶可下載應用（僅限美國），並探索其源代碼。Meta 表示，《Spatial Lingo》為利用 AI 和透視功能構建混合現實應用提供了實用的藍圖，鼓勵開發者深入了解並獲取靈感。
什麼是空間語言？
《Spatial Lingo》是一款開源混合現實應用，通過在日常環境中增添所選語言的詞彙，重塑了語言學習的方式。該應用利用透視攝像頭 API 和多種 AI 技術，為用戶提供了一個良好的基礎來融入自己的體驗。用戶無需通過列表記憶詞彙，而是通過探索真實環境來學習新單詞——日常物品會即時翻譯並高亮顯示，讓學習過程變得直觀且難忘。無論是在家、辦公室還是戶外，《Spatial Lingo》都將周圍環境轉變為互動教室，活潑的 3D 夥伴樂樂全程引導，令學習如同冒險。 《Spatial Lingo》的技術架構 《Spatial Lingo》展示了透視攝像頭 API 與多種 AI 技術在 Meta Quest 平台上的結合。以下是其主要功能：
| 功能 | 描述 |
|---|---|
| 實時場景理解 | 利用透視攝像頭 API，應用能夠看到玩家周圍的物理空間。通過 YOLOv9 模型，應用分析 Quest 攝像頭的圖像，準確識別周圍常見物體。 |
| 物體翻譯 | 當物體被識別後，其圖像會被裁剪並發送到 Llama API。API 使用 Llama 4 Maverick 分析物體，提供準確的名詞、形容詞和動詞。 |
| 語言理解 | 空間語言使用 Llama 4 Maverick 將檢測到的物體名稱翻譯成西班牙語，並在混合現實中呈現。應用利用 Voice SDK 捕捉玩家的語音輸入，並轉錄為文本進行分析。 |
用戶可下載應用（僅限美國），並探索其源代碼。Meta 表示，《Spatial Lingo》為利用 AI 和透視功能構建混合現實應用提供了實用的藍圖，鼓勵開發者深入了解並獲取靈感。
