3D形状和语义先验引导的高保真人脸交换
发布日期：2021-08-10 16:10:20
导读 人脸交换是生成具有源人脸身份和目标图像属性的图像的任务。当前的方法在提供照片般逼真的结果或保留原始面部形状方面面临困难。最近的一项
人脸交换是生成具有源人脸身份和目标图像属性的图像的任务。当前的方法在提供照片般逼真的结果或保留原始面部形状方面面临困难。最近的一项研究提出了一种新颖的端到端学习框架，可以保留人脸形状并生成高保真换脸结果。3D 形状感知身份提取器生成具有精确形状信息的身份向量，以强制执行精确的面部形状转换。提出了语义面部融合模块，以实现特征级和图像级的更好结合。这有助于解决遮挡和照明问题。
大量实验表明，与以前的方法相比，所建议的方法可以产生更高保真度的结果。它可以应用于电影行业、电脑游戏或面部伪造检测。
在这项工作中，我们提出了一种称为 HifiFace 的高保真人脸交换方法，它可以很好地保留源人脸的人脸形状并生成照片般逼真的结果。与其他仅使用人脸识别模型来保持身份相似性的现有人脸交换工作不同，我们提出了 3D 形状感知身份来控制人脸形状，并结合 3DMM 和 3D 人脸重建方法的几何监督。同时，我们引入语义面部融合模块来优化编码器和解码器特征的组合并进行自适应混合，使结果更加逼真。在野外进行的大量面部实验表明，我们的方法可以保留更好的身份，尤其是在面部形状上，并且比以前的最先进方法可以产生更逼真的结果。
标签： 高保真人脸交换
免责声明：本文由用户上传，如有侵权请联系删除！