人眼逼真合成 动画和重新照明的混合表示
眼睛提供了重要的社交线索，甚至可以确定对象的情绪状态。因此，在开发逼真的3D化身技术时，必须对允许对人眼图像进行细粒度的逼真控制的方法和系统给予极大的关注。
arXiv.org上最近的一篇论文提出了一种新颖的混合表示，它结合了基于网格和体积重建的优点，以在所需的环境照明下实现眼睛区域的动画合成。轻量级捕捉系统是由少量静态摄像机和灯光以及一个具有同位光源的手持式摄像机设计而成的。
该方法能够实现逼真的视图合成和重新照明。此外，实现了对对象注视的细粒度控制。这些能力在几个具有不同面部和眼部特征的真实主题上得到证明。
创建高质量可动画和可重新点亮的3D人物头像的独特挑战是对人眼进行建模。合成眼睛的挑战是多方面的，因为它需要1)适当表示眼睛的各种组件和眼周区域以进行连贯的视点合成，能够表示漫反射、折射和高反射表面，2)从环境中解开皮肤和眼睛外观照明，使其可以在新的照明条件下渲染，以及3)捕捉眼球运动和周围皮肤的变形，以便重新凝视。这些挑战传统上需要使用昂贵且繁琐的捕获设置来获得高质量的结果，即使如此，眼部区域的整体建模仍然难以捉摸。我们提出了一种新颖的几何和外观表示，仅使用一组稀疏的灯光和相机即可实现高保真捕捉和逼真的动画、视图合成和眼睛区域的重新照明。我们的混合表示将眼球的显式参数表面模型与眼周区域和眼睛内部的隐式可变形体积表示相结合。这种新颖的混合模型旨在解决具有挑战性的面部区域的各个部分-显式眼球表面允许模拟角膜的折射和高频镜面反射，而隐式表示非常适合通过以下方式模拟低频皮肤反射球谐函数，可以表示非表面结构，例如头发或漫反射体积体，这两者都是显式表面模型的挑战。我们表明，对于眼睛的高分辨率特写，我们的模型可以在看不见的照明条件下从新颖的视图中合成高保真动画凝视。
标签：