用于无监督视频分解的可变形精灵
发布日期：2022-04-21 17:15:19
导读 当人们观察动态场景的视频时，他们不会看到随着时间推移出现的一组不相交的像素，而是在3D场景中移动的高级对象。受这一观察的启发，最近的
当人们观察动态场景的视频时，他们不会看到随着时间推移出现的一组不相交的像素，而是在3D场景中移动的高级对象。受这一观察的启发，最近的一篇论文提出了一种新方法，将复杂动态场景的视频分解为一组持续运动组。
研究人员提出了整个视频中运动组的表示，称为DeformableSprites。DeformableSprites表示仅根据视频中存在的图像和运动提示拟合视频，无需任何用户输入。此外，该方法可以处理带有移动相机和铰接或可变形物体的视频。
该方法支持诸如一致的视频编辑或2D运动雕塑效果等应用。对标准视频对象分割基准的评估表明，所提出的方法获得了有竞争力的结果。
我们描述了一种从输入视频中提取动态场景的持久元素的方法。我们将每个场景元素表示为由三个组件组成的\emph{DeformableSprite}：1)整个视频的2D纹理图像，2)元素的每帧掩码，以及3)映射纹理的非刚性变形图像到每个视频帧。由此产生的分解允许诸如一致的视频编辑之类的应用。DeformableSprites是一种针对单个视频进行优化的视频自动编码器模型，不需要在大型数据集上进行训练，也不依赖于预训练模型。此外，我们的方法不需要对象掩码或其他用户输入，并且发现比以前的工作更广泛的移动对象。我们在标准视频数据集上评估我们的方法，并在各种互联网视频上展示定性结果。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！