机械栗 发自 凹非寺
量子位 出品 | 公众号 QbitAI

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区

来自卡耐基梅隆大学 (CMU) 的四个科学家,在一篇论文里说,他们带着一群机器人去住Airbnb了。

也不知道,近来忙于应付纽约市政府的Airbnb,能不能感受到这一缕清风。

回归正片,研究人员自然不是请机器人去度假。

他们觉得,机器人常年待在实验室里,生活场景很单调,和现实也有差距。

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区

这样的话,训练出来的技能,很难推广到真实世界里去。

只能在实验室做任务的机器人,也不是CMU的人类们想要的。

“经济适用”机

团队决定,让机器人参与更多的实战,培养它们的泛化能力。

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区

于是,人们先造了一批“便宜”的机器人,就是把Dobot Magician机械臂改造了一下——

加上了双轴手腕两指电动夹具,还有移动底座

传感器方面,配置了英特尔R200 RGB摄像头,以及帮摄像头转脖子的云台。

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区

至于机器人的大脑,笔记本而已,CPU是i5-8250U,RAM有8G。

研究人员说,每台“只要”三千美元,比别的 (两万美元的) 机器人经济多了。

“经济适用”房

然后,带机器人去开房。

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区
△ 仔细选择的不同环境

研究人员先在Airbnb上,开了六套房,是收集真实数据用的。

就像刚才说的,只用实验室环境里的数据来训练,就不是真正的训练。

他们用Yolo模型做物体检测,然后用“Robust-Grasp (鲁棒抓取) ”神经网络结构 (详见下文) ,来算出最佳的抓取姿势。

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区

就这样,一共收集了28,000种不同的姿势。

自制的数据集,取名为Home-LCA,后面三个字母,指的是“便宜的机械臂”。

机智的决策

刚才简要登场的“Robust-Grasp”神经网络,就是机器人做出机智抓取决策的关键。

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区

结构分成三部分——

一是抓取预测网络 (GPN) ,这里用的是训练好的ResNet-18。吃进像素图 (Pixel Imagery) ,再决定用什么姿势抓取。

不过,用了便宜的机器人,收集的数据会有很多噪音,所以……

二是噪音建模网络 (NMN) ,根据场景图像机器人获取的信息这两组数据,把噪音分离出去。

三是边缘化层 (Narginalization Layer) ,把两股数据流结合起来,以便给出更好的决策。

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区

团队用自制的Home-LCA数据集,训练了这个网络,也用两个实验室数据集做陪练,看哪边效果好。

实战派vs温室派

训练完成之后,研究人员又在Airbnb上面,另外开了3套房,作为赛场。

所以说,赛前谁都没有到过这些地方。

△ 不知文中为何只有两间测试房的照片

真正的抓取比赛开始了,参赛双方分别是:

实战派,用Home-LCA训练的AI。

温室派,用Lab-Baxter训练的AI。

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区
△ 三个新房子

同在陌生的环境里,抓取陌生的物体,实战派机器人的成功率远远超过温室派。

这并不意外,毕竟在那之前,选手们还进行了另外一项比赛——

机器人做随性抓取,AI来预测能不能抓取成功 (依靠位置和角度) 。

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区
△ 横向对比,当训练集与测试集来源不同,便知其泛化能力

结果,用Home-LCA数据集训练的模型,在接受其他两个数据集的测试时,预测正确率并没有明显差异,一直保持在70%上下 (见第3、5行) 。

而用Lab-Baxter和Lab-LCA数据集训练的模型,换其他数据集测试,预测正确率便会从70%左右,下降至55%左右 (见第1、2、4行) 。

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区
△ 占卜婆婆

也就是说,实战派处变不惊,泛化能力稳胜一筹。

野生,野长

果然,从模型训练开始,就不能对机器人太温柔。

不管是在模拟器里修炼的机器人,还是用实验室数据喂养的机器人,都容易对外界的艰险适应不能

CMU科学家们带一群机器人开房,并收集了28000种不同姿势-深度学习中文社区
△ 到外面去吧

采集真实世界的数据,来训练机器人的实际操作技能,它们便不会被困在实验室里,寸步难行。

大概,这就是CMU在机器人能力的泛化上,为同仁们提供的一个思路吧。

论文传送门:

arxiv.org/pdf/1807.0704

欢迎大家关注我们的专栏:量子位 - 知乎专栏

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI· 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态