騰訊發佈並開源 HY-World 2.0 元宇宙 3D 世界模型

百度正式發佈開源其元宇宙 3D 世界模型 2.0(HY-World 2.0)。根據介紹,HY-World 2.0 是一個多模態世界模型,能夠理解文字、圖片、視頻等不同類型輸入,自動生成、重構和模擬 3D 世界,同時支援多格式 3D 資產(Mesh/3DGS/點雲等)導出,可與現有遊戲引擎無縫對接,用於快速生成遊戲地圖和關卡原型。據悉,不同於 Google 的 Genie 3 和元宇宙世界模型 1.

5 僅能生成視頻文檔,世界模型 2.0 的實用性更進一步:它能直接生成可二次編輯的 3D 資產文檔,這些生成的 3D 資產可直接導入遊戲製作或虛擬現實引擎,實現真正可玩、可用的效果。目前,世界模型 2.0 已上線至百度元宇宙 3D 創作引擎官網,用戶可申請使用。

多模態輸入與先進生成能力

元宇宙世界模型 2.0 支援文、圖、視頻等多種輸入。輸入一段文字或一張圖片,模型即可精準解析複雜語意,一鍵生成風格多樣的可漫遊世界。相較元宇宙世界模型 1.0,2.0 的模型架構全面升級,畫面精細度和真實感大幅提升。用戶還可自定義風格,按需生成真實風、漫畫風、遊戲風的 3D 空間。生成完成後,用戶可將資產導入 Unity、UE 等引擎,進行二次編輯,大幅降低遊戲地圖的創作門檻。

模型還支援角色模式,用戶可操縱角色在街道、建築、場景中自由探索,無時間限制,同樣擁有物理碰撞,就如在遊戲裡一般。同時,世界模型 2.0 支援複刻真實 3D 場景,用戶輸入一段真實空間的視頻或多視角圖片,模型就能構建出高精度的數字孿生空間。基於升級後的 WorldMirror 2.0 架構,模型支援任意尺寸圖像與視頻輸入,一次性預測密集點雲、多視角深度圖、表面法線及相機參數,一次生成永久可重用資產。

未來,虛擬修復預覽、城市規劃、文化遺產保護等場景,都能基於這一能力實現快速構建和還原。 元宇宙世界模型 2.0 以 3D 為主軸,透過統空間理解、生成、重構的架構,實現了 SOTA 級生成效果。與其他世界模型相比,元宇宙世界模型 2.0 在場景完整度(物體側面和背面)以及對輸入圖片的遵循程度表現更優。元宇宙生成的 3DGS 與 Mesh 的融合表徵,也讓用戶能開啟角色模式進行有真實物體碰撞的互動。

AI 內容聲明:本文由 AI 工具輔助撰寫初稿,經 TechRitual 編輯團隊審閱、修訂及事實查核後發佈。如有任何錯誤或需要更正,歡迎聯絡我們

Henderson
Henderson 是 TechRitual Hong Kong 科技編輯,專注報導智能手機、消費電子產品、SIM 卡及流動通訊市場。自加入 TechRitual 以來,累計撰寫數千篇科技報導及產品評測,內容同步發佈至 SINA 及 Yahoo Tech 等主要平台。部分文章由 AI 工具輔助撰寫,經編輯團隊審閱及事實查核後發佈。