从以自我为中心的视觉输入中学习人类搜索行为
发布日期:2021-02-07 11:35:41
导读 人类可以轻松地在复杂的环境中搜索对象。最近的一篇论文提出了一种虚拟的人类角色,该角色能够使用以自我为中心的视觉和运动能力在3D场景中
人类可以轻松地在复杂的环境中搜索对象。最近的一篇论文提出了一种虚拟的人类角色,该角色能够使用以自我为中心的视觉和运动能力在3D场景中寻找任何随机放置的对象。
深度强化学习用于训练搜索策略,该策略确定每个步骤的移动和注视方向。运动合成模块使用在线重新计划方法将模型不可知的策略转移到特定的机器人模型并合成运动学运动。
在使用人类角色和基于轮的机器人进行的测试中,角色即使在家具遮挡下或放在橱柜内的情况下,仍能够在较大的空间中找到诸如一副眼镜之类的小物体。另外,还显示了允许头部移动可以提高性能。这项研究为进一步的机器人应用带来了希望。
“寻找事物”是我们在日常生活中反复执行的一项平凡而关键的任务。我们引入一种开发人类角色的方法,该方法能够使用其运动能力和以RGBD图像表示的以自我为中心的视觉感知来在详细的3D场景中搜索随机定位的目标对象。通过从人物角色中剥夺特权3D信息,它被迫同时移动和环顾四周,以解决有限的感知能力,从而导致自然的导航和搜索行为。我们的方法包括两个部分:1)基于抽象字符模型的搜索控制策略,以及2)在线重新计划控制模块,用于根据搜索策略计划的轨迹来合成详细的运动运动。我们证明了结合的技术使角色能够在室内环境中有效地找到经常被遮挡的家居用品。可以将相同的搜索策略应用于不同的全身字符,而无需重新训练。我们通过在随机生成的场景中进行测试来定量评估我们的方法。我们的工作是朝着由机载传感器驱动的具有人类行为的方式创建智能虚拟代理的第一步,为未来的机器人应用铺平了道路。
标签: