Meta 新技術 SAM 3D 物體模型可於數秒內將現實物體轉化為 VR 3D 資產

借助 Meta 全新的 SAM 3D 物體模型,AI 現在能在數秒內將現實世界中的物體轉化為 3D 資產,進而引入 VR 環境。過去,使用傳統的攝影測量技術來生成 3D 模型需要拍攝數十張從不同角度的圖像,並經過數分鐘到數小時的處理時間。例如,Epic 的 RealityScan 需要大約 15 到 45 分鐘的雲端處理,而 Apple 為其 iPhone Pro 機型提供的 Object Capture API 則需約 5 分鐘。

隨著過去一年 AI 模型的快速發展,現在可以在幾秒內從單張圖像生成 3D 資產。

儘管這些模型的質量尚未完全達到傳統技術的水平,但每個新模型的推出都顯示出生成質量的穩步提升,反映出 AI 領域的整體進步。

應用範例

Takahiro “Poly” Horikawa 在 SideQuest 發佈了一款 Quest 應用,利用手動追蹤功能,使用者可以框選現實世界中的特定物體並進行拍照。這一過程使用了 Meta 的透視攝像頭 API,拍攝的圖像隨後被提供給 Stability AI,並基於 TripoSR 模型的 Stable Fast3D API 進行處理,最終生成的 3D 模型會作為虛擬物體出現在拍攝位置的旁邊。

不久前,Meta 發佈了最新的 SAM 3D 物體模型,這是一個全新的尖端模型,專門用來從單張圖像生成 3D 資產。使用者可以在 Meta AI Demos 頁面免費測試該模型,只需提供一張圖像,即可選擇想要轉換為 3D 模型的物體。幾秒鐘後,使用者將能看到 3D 視圖,並可以用滑鼠或手指環繞查看該物體。需要注意的是,這個網站並非為移動設備屏幕設計,因此建議使用 PC、筆記本電腦、平板電腦或 VR 頭顯進行操作。

目前這個免費的公開演示版不允許下載 3D 模型,但 SAM 3D 物體模型是開源的,可以在 GitHub 和 Hugging Face 上獲得。

這意味著開發者可以將其部署在提供 GPU 的雲計算平台,並用來提供類似 EchoTheReality 的演示體驗,但輸出質量會更高,因為它實質上是將現實物體引入 VR 世界。儘管 Meta 尚未宣布將該功能整合到 Horizon Worlds 的計劃中,但這似乎是未來的一個合理步驟,與其剛剛推出的 Hyperscape 世界形成互補。


Henderson
Henderson 主要擔任「炒稿記者」的職責,以翻譯最新科技,手機 電動車等消息為每天的工作。