位於滑鐵盧大學的研究人員近期開發了一套系統，讓人類能夠與機器人群體合作，創作受音樂啟發的視覺藝術。這個平台結合了群體機器人技術、音樂分析和人類輸入，將聲音轉化為動態光畫。多個輪式機器人根據音樂特徵作出反應，同時人類則即時塑造藝術作品。最終結果融合了機器的解讀與人類的意圖，創造出聆聽者與機器人之間的共同創作過程。
這套系統使用的輪式機器人大約有足球大小，每個機器人在移動時會發出不同顏色的光。這些移動形成的光跡就像是在數位畫布上的筆觸。位於工作區上方的攝影機會捕捉機器人的動作，錄製的光跡則生成了一幅代表音樂的視覺作品。機器人能夠對音樂特徵，如節奏和和弦進行反應，使得音樂的節拍與和聲影響機器人的運動模式。滑鐵盧大學電機與計算機工程學教授Gennaro Notomista表示，「基本上，我們編程了一群機器人，根據音樂輸入進行繪畫。」他補充說，這個系統不僅僅是將聲音轉換為視覺，它還是一個統一的系統，不僅處理音樂輸入，還協調多個繪畫機器人，創造出能夠適應和表現音樂情感本質的藝術作品。
機器人通過多種視覺線索表達情感，包括光的顏色、亮度和光跡的寬度。速度和在畫布上的位置也影響每個機器人對整體圖像的貢獻。隨著音樂的變化，機器人會調整它們的運動。更快的節奏可能觸發更快的動作，而和聲的變化則會影響顏色和間距。這些變量共同創造出音樂情感內容的動態解釋。人類也能在藝術品演變的過程中進行影響，參與者可以使用控制器來調整光跡的寬度和位置，這樣的輸入使人類能夠在不覆蓋機器人行為的情況下引導作品的構成。Notomista表示，「我們加入了人類控制的輸入，讓人類與機器人能夠共同合作。人類畫家應該要補充機器人的創作，同時也被機器人所補充。」
開發控制系統是早期的一個挑戰，研究人員需要一個算法來管理許多機器人在有限的空間內運作。他們最多測試了 12 台機器人，這個設計可以擴展到更大的機器人群體。團隊還構建了軟件來提取音樂中的情感特徵，這一步驟需要將抽象的音樂特質映射到實際的運動和光行為上。研究人員然後將這些信號與機器人的協調行動聯繫起來。這項研究不僅僅限於藝術，還提供了對群體協調的深入見解。類似的系統可支持環境監測、精準農業和搜尋救援行動。行星探索也可能從協調的機器人群體中獲益。這項研究與滑鐵盧大學的全球未來計劃相符，該計劃提倡跨學科工作，探索新興技術如何塑造文化和社會。
展望未來，Notomista計劃與專業畫家和音樂家合作，未來的工作將包括用戶研究和公共展覽，以探索觀眾如何參與機器人輔助的藝術創作。
