新框架允許機器人通過在線人類演示視頻進行學習

要想在現(xiàn)實環(huán)境中成功部署，機器人必須能夠可靠地完成各種日常任務，從家務到工業(yè)流程。它們可以完成的一些任務包括操縱織物，例如折疊衣服放入衣柜或幫助行動不便的老年人在社交活動前打領帶。

開發(fā)能夠有效處理這些任務的機器人迄今為止已被證明是相當具有挑戰(zhàn)性的。許多用于訓練機器人進行織物操作任務的方法都依賴于模仿學習，這是一種使用視頻、動作捕捉鏡頭和人類完成相關任務的其他數(shù)據(jù)來訓練機器人控制的技術。

雖然其中一些技術取得了令人鼓舞的成果，但要取得良好效果，它們通常需要大量的人類演示數(shù)據(jù)。這些數(shù)據(jù)可能成本高昂且難以收集，而現(xiàn)有的開源數(shù)據(jù)集并不總是包含與訓練其他計算技術(如計算機視覺或生成式 AI 模型)一樣多的數(shù)據(jù)。

新加坡國立大學、上海交通大學和南京大學的研究人員最近介紹了一種替代方法，可以通過人類演示來增強和簡化機器人算法的訓練。這種方法在arXiv上預先發(fā)表的一篇論文中概述，旨在利用每天在線發(fā)布的大量視頻，將其用作日常任務的人類演示。

“這項工作始于一個簡單的想法，即建立一個系統(tǒng)，讓機器人利用網(wǎng)上無數(shù)的人類演示視頻來學習復雜的操作技能，”論文合著者彭偉昆告訴 Tech Xplore。“換句話說，給定一個任意的人類演示視頻，我們希望機器人完成視頻中顯示的相同任務。”

雖然之前的研究也引入了利用視頻片段的模仿學習技術，但他們使用的是特定領域的視頻(即人類在機器人稍后將處理任務的同一環(huán)境中完成特定任務的視頻)，而不是在任何環(huán)境或設置中收集的任意視頻。

另一方面，彭和他的同事開發(fā)的框架旨在讓機器人能夠從網(wǎng)上找到的任意演示視頻中進行模仿學習。

該團隊的方法有三個主要組成部分，即 Real2Sim、Learn@Sim 和 Sim2Real。第一個組成部分是該框架的核心和最重要的部分。

標簽：