从大型语言模型中提取零样本常识用于机器人3D场景理解
发布日期：2022-06-13 17:05:37
导读 场景理解是机器人技术的主要挑战。机器人系统必须能够对大量环境和其中的实体进行语义理解。例如，如果被要求去厨房拿勺子，机器人应该了解
场景理解是机器人技术的主要挑战。机器人系统必须能够对大量环境和其中的实体进行语义理解。例如，如果被要求去厨房拿勺子，机器人应该了解厨房是什么，利用它的知识来确定哪些位置可能是厨房，并分割物体以识别要拿的勺子。
arXiv.org上最近的一篇文章展示了如何将大型语言模型用于此类任务。研究人员使用启发式方法挑选出房间内存在的少量语义信息对象，用这些对象标签构造一个查询字符串作为房间的描述，并将字符串传递给语言模型以推断房间的标签.
该方法不需要任何训练或微调，即使在零样本情况下也能实现良好的推理精度。
语义3D场景理解是机器人技术中至关重要的问题。虽然在同步定位和映射算法方面取得了重大进展，但机器人仍远未具备有关家庭物体及其普通人位置的常识。我们介绍了一种利用嵌入在大型语言模型中的常识来标记房间的新方法，因为其中包含的对象。该算法具有额外的好处：(i)不需要特定于任务的预训练(完全在零样本状态下运行)和(ii)泛化到任意房间和对象标签，包括以前看不见的标签——这两者都是机器人场景理解算法中非常理想的特征。所提出的算法在现代空间感知系统产生的3D场景图上运行，
标签：
免责声明：本文由用户上传，如有侵权请联系删除！