拾取机器人——即用于拾取和放置物体的电动钳子——可能具有对它们有益的可重复性，但复杂的姿势和不熟悉的物体对它们中的大多数提出了挑战。难怪：它们不仅需要定位物体，了解如何抓住它们，这需要大量的训练数据，而且必须放下它们，以免损坏它们或干扰周围的环境。

然而，请让麻省理工学院计算机科学和人工智能实验室(CSAIL)的人来创造一种克服这些障碍的方法。在一篇新发表的研究论文(“K-PAM的类级机器人操作：关键点负担操作”)中，他们描述了一个系统——关键点负担操纵，简称“kpam”——它检测一组称为关键点的目标坐标，启用机器人硬件，并在其上部署和处理一系列精致的对象。

麻省理工学院教授、资深作家Lars Tedrak在一份声明中说：“每当你在YouTube上看到机器人的视频时，你都应该仔细观察机器人没有做什么。”“机器人几乎可以选择任何东西，但如果是他们从未见过的物体，他们实际上无法以任何有意义的方式放下它。”

大多数取放感知和抓取算法是估计位置、方向和几何形状，而不是点，这很难转化为涉及形状奇怪的物体的任务。相比之下，kPAM的3D关键管线可以“自然”地适应对象类型之间的变化。tedrake——以及博士生Lucas Manuelli、Pete Florence和Wei Gao——表示，一个相对统一的目标只需要三个坐标，比如咖啡杯(重要的是，一个在底部的中心，一个在顶部的中心)，还有足够的拖鞋、靴子、高跟鞋等六个物品。

“仅仅知道这个对象——一些关键点的位置——就足以完成各种有用的操作任务，”Tedrake说。

研究人员使用“最先进”的集成AI模型检测关键点，该模型以单个RGB和深度图像为输入，输出每个坐标的概率热图和深度预测图。(2D图像坐标、深度值和最终3D关键点将在后续步骤中恢复。他们从包含感兴趣对象的场景中收集训练数据，方法是将关键点网格投影到图像空间中，给定三维重建算法中估计的相机姿态。

在涉及Kuka IIWA LBR机器人与Schunk WSG 50夹紧系统(和深度传感Primesense传感器)的实验中，经过全面训练的系统成功引导机器人手臂将鞋子放在鞋架上，将马克杯直立放在鞋架上，并用手柄将杯子挂在鞋架上。

机器人测试20双鞋没有问题。在100次测试中，只有两次没有把鞋子放在架子上。当抓手抓住脚后跟时，会发生错误，导致脚后跟离开原来的位置。

在杯架任务中，包括40个不同形状、大小和视觉外观的杯子，机器人在垂直放置时设法抓住了所有的杯子，但由于夹子的行程有限，只能水平放置。令人印象深刻的是，除了两个实验(当杯子倒置时)，它把杯子放在离目标位置5厘米的架子上。

杯柄测试有一个小的设置-30个杯子-和五个非常小的杯子。手柄的高度和宽度不到两厘米。夹具100%的时间把大杯挂在架子上，但对于小杯，只能达到50%的成功率。研究人员将失败案例归因于不准确的关键点检测。

其他方面也有改进的空间。Tedrake和合著者指出，人类必须注释他们的系统所需的训练数据，他们打算通过用合成数据补充真实样本来逐步淘汰未来的工作。此外，他们承认，即使对象类别不变，也必须重新标记关键点，并重新训练模型。

尽管如此，他们认为它提供了比大多数现有方法更大的灵活性，他们相信有一天，它可能会帮助机器人承担诸如卸载洗碗机、擦拭厨房柜台以及在工厂和其他工业环境中执行拾取和放置工作等任务。

郑重声明：本文版权归原作者所有。转载文章只是为了传播更多的信息。如果作者信息标注有误，请第一时间联系我们修改或删除。谢谢你。

标签：