使用姿势和光照归一化从视频中高效学习个性化3D说话人脸
发布日期：2021-08-16 16:40:23
导读 会说话的人视频用于各种应用，从新闻广播到游戏和电影中的动画角色。当前的合成技术在视点和光照变化下遇到困难或视觉真实感有限。谷歌研究
“会说话的人”视频用于各种应用，从新闻广播到游戏和电影中的动画角色。当前的合成技术在视点和光照变化下遇到困难或视觉真实感有限。谷歌研究人员最近的一项工作提出了一种新颖的深度学习方法来合成由音频语音信号驱动的 3D 说话人脸。
不是建立一个单一的通用模型来应用于不同的人，而是个性化的特定于说话者的模型。这样，实现了更高的视觉保真度。还创建了一种用于消除空间和时间照明变化的算法。它还允许以更有效的数据方式训练模型。人类评分和客观指标表明，建议的模型在真实性、口型同步和视觉质量得分方面优于当前的基线。
在本文中，我们提出了一个基于视频的学习框架，用于从音频中制作个性化的 3D 说话人脸动画。我们引入了两种训练时间数据标准化，可显着提高数据样本效率。首先，我们在一个标准化空间中隔离和表示人脸，该空间将 3D 几何、头部姿势和纹理解耦。这将预测问题分解为 3D 面部形状和相应 2D 纹理图集的回归。其次，我们利用面部对称性和皮肤的近似反照率恒定性来隔离和消除时空照明变化。总之，这些归一化允许简单的网络在新颖的环境照明下生成高保真口型同步视频，同时仅使用单个特定于说话者的视频进行训练。此外，为了稳定时间动态，我们引入了一种自回归方法，该方法根据其先前的视觉状态来调节模型。人类评分和客观指标表明，我们的方法在真实性、口型同步和视觉质量分数方面优于当代最先进的音频驱动视频重演基准。我们说明了由我们的框架支持的几个应用程序。
标签：
免责声明：本文由用户上传，如有侵权请联系删除！