在没有3D监督的情况下学习3D对象形状和布局
发布日期：2022-06-21 16:35:03
导读 可以通过每个对象的3D形状和空间中对象的3D布局来指定3D场景。然而，直接测量3D结构通常是不切实际的;因此，从2D图像推断3D场景的形状和布
可以通过每个对象的3D形状和空间中对象的3D布局来指定3D场景。然而，直接测量3D结构通常是不切实际的;因此，从2D图像推断3D场景的形状和布局是计算机视觉中的一个基本问题。
arXiv.org最近的一篇论文提出了一种从单个图像预测复杂场景中的3D对象形状和布局的方法。它在训练期间不使用地面实况形状或布局，多视图图像中的对象轮廓用于学习。
预测3D形状的MeshR-CNN增加了一个布局网络，该网络估计每个对象的3D位置。三个数据集的结果展示了可扩展多视图监督的实用性。该方法可扩展到具有许多对象的复杂、逼真的场景，并且可以从嘈杂的真实世界视频中学习，而无需昂贵的地面实况。
3D场景由一组对象组成，每个对象都有一个形状和一个布局，给出了它们在空间中的位置。从2D图像中理解3D场景是一个重要目标，在机器人和图形学中都有应用。虽然最近在从单个图像预测3D形状和布局方面取得了进展，但大多数方法依赖于3D地面实况进行训练，而大规模收集的成本很高。我们克服了这些限制，并提出了一种无需任何地面实况形状或布局信息即可学习预测对象的3D形状和布局的方法：相反，我们依赖于具有2D监督的多视图图像，可以更轻松地大规模收集。通过对3DWarehouse、Hypersim和ScanNet的广泛实验，我们证明了我们的方法可以扩展到真实图像的大型数据集，并且与依赖3D地面实况的方法相比具有优势。在无法获得可靠的3D地面实况的Hypersim和ScanNet上，我们的方法优于在较小和较少多样化数据集上训练的监督方法。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！