東京科技大學的研究人員開發了一種新的基於視覺的系統，能讓機器人準確地抓取透明和反射物體，而無需依賴深度傳感器。這種方法解決了自動化物料處理中的一個關鍵限制，因為這類物體在過去一直難以檢測和操作。玻璃、光亮金屬和透明塑料等物品的處理對機器人來說仍然是一大挑戰，因為這些材料會扭曲或混淆傳統的 3D 感測系統，通常需要人力介入，從而減慢操作速度。
這個名為 HEAPGrasp 的系統，僅使用 RGB 相機捕捉的視覺輪廓來重建物體形狀，使機器人能夠可靠地識別和抓取物體，無論其光學特性如何。該系統不依賴專用傳感器，而是利用標準的 RGB 相機從不同角度捕捉圖像。它提取物體輪廓，並使用一種即使在處理透明或反射表面時也能保持穩定的技術來重建其 3D 形狀。
透明或鏡面物體在使用深度傳感器時通常難以檢測，這使得機器人自動抓取變得困難，最終導致人力介入，研究人員 Arai Shogo 解釋道。我們的方法基於這樣的想法，即使深度信息不可靠，只要能在圖像中可靠地捕捉到物體的輪廓或外形，物體形狀的估算和抓取仍然是可能的。
該系統首先通過語義分割將物體與背景分開。它使用深度學習模型對圖像中的每個像素進行分類，隔離出物體，然後在三維中重建它們。為了構建 3D 模型，該方法應用了形狀從輪廓技術，通過將從不同視點捕捉的輪廓結合來估算物體體積。由於該方法僅依賴輪廓，因此避免了由透明度或眩光引起的錯誤。
不過，捕捉更多視角通常會增加處理時間。為了解決這個問題，研究人員增加了一個基於深度學習的規劃系統，該系統確定最有效的相機路徑，減少不必要的移動，同時保持準確性。
研究團隊在 20 種不同的場景中測試了 HEAPGrasp，涉及各種透明、不透明和反射的物體，結果顯示該系統的表現始終優於現有的抓取方法。使用單個相機時，其成功率達到 96%，同時相機移動量減少了 52%，執行時間較傳統方法降低了 19%。研究人員 Kennis Ginga 表示，我們的方法實現了物體的準確 3D 測量，同時最小化了相機的移動和執行時間。
HEAPGrasp 減少了所需的預調整量，簡化了現場的實施和操作，特別是因為它可以安裝在現有的機器人系統上。該系統能夠使用標準相機和現有硬體，這可能使其在物流、食品處理和製造等行業的部署變得更為簡單，這些行業中混合材料是常見的。該研究發表在《IEEE Robotics and Automation Letters》上。
