一項由德國研究人員開發的搜索機器人，據報導能夠通過結合語言模型和三維地圖來追蹤家庭及動態環境中的失物。這款機器人被慕尼黑工業大學（TUM）的科學家形容為「裝有輪子的掃把」，其頂部安裝了一個攝影機。它是第一批將圖像理解應用於明確任務的機器人之一。該系統在TUM的學習系統與機器人實驗室設計。根據研究小組的說法，這款機器人能夠根據指令找到丟失的物品。它結合了互聯網知識和周圍環境的空間地圖，以有效地定位所要求的物品。
Angela Schoellig博士是TUM機器人與人工智能的亞歷山大·馮·洪堡教授，也是該大學學習系統安全、性能及可靠性主席下機器人實驗室的負責人。她表示，我們已經教會機器人理解其周圍環境。Schoellig指出，該系統首先需要掃描周圍環境並建立房間的三維地圖，以便定位物品，例如在廚房中錯放的眼鏡。儘管攝影機最初記錄的是標準的二维圖像，但像素中包含深度數據。利用這些信息，搜索機器人建立了一個不斷更新的空間地圖，精確到厘米級別。
同時，系統接收來自筆記本電腦的輸入，該電腦識別圖像中出現的物品並判斷其對人類的相關性。該機器人結合了一個三維攝影機和語言模型進行搜索。Schoellig表示，這樣的基本理解對於工廠中的類人機器人以及在私人住宅中工作的輔助或護理機器人來說是必要的。她補充道，對於所有在不斷變化的空間中移動的機器人來說，這一點都非常重要。
因此，該機器人能夠識別如桌子或窗台等表面適合放置眼鏡，而爐灶或水槽則不適合。新的系統在兩個方面依賴人工智能。首先，計算機視覺算法檢測環境中可見的物品和表面。其次，語言模型解釋這些物品之間的關係，然後將數據轉化為機器人可以用於導航的指令。Schoellig在聲明中表示，語言模型捕捉物體之間的關係，而我們將這些信息轉換為機器人的語言。
三維地圖顯示兩位數的數字，這些數字不斷重新計算失物在每個位置被找到的可能性。實驗顯示，與隨機搜索相比，這款機器人能夠以約30%的效率檢查更可能的地點。記憶能力是其另一個關鍵特徵，因為它能夠記錄過去的圖像並將其與環境中的新視覺數據進行對比。一旦機器人在廚房中看到新物品，便能以約95%的準確率識別出變化，並將該位置標記為極有可能包含失物的地點。
目前版本專注於在開放空間中定位物品，但研究團隊已經在研發升級版本，使機器人能夠在抽屜、櫃子和其他封閉區域內搜索。該研究論文已發表在《IEEE Robotics and Automation Letters》中。
