斯坦福大学的计算机科学家开发了一种系统可以为计算机动画合成逼真的声音
计算机生成图像的进步使生动逼真的动画栩栩如生，但是与我们在屏幕上看到的模拟声音(例如两个物体碰撞)相关的声音通常是录音。现在，斯坦福大学的研究人员已经开发出一种系统，该系统可以为各种动画现象自动呈现准确的声音。
“能够为人类模拟现实的计算过程中有一个圣杯。斯坦福大学计算机科学教授道格·詹姆斯说 。“目前，尚无办法自动为复杂的动画内容(如泼水或碰撞的物体)生成逼真的同步声音。这填补了这个空白。”
研究人员将 作为ACM SIGGRAPH 2018(计算机图形和交互技术的领先会议)的一部分介绍他们在这种声音合成系统上 的 工作。研究人员说，除了使电影和虚拟现实世界充满活力之外，该系统还可以帮助工程公司原型化产品在实际生产之前的声音，并希望鼓励设计更安静，更不令人讨厌。
“我已经花了很多年的时间来尝试解决控制声音传播的偏微分方程，”詹姆斯实验室和计算与数学工程学院(ICME)的研究生Jui-Hsien Wang说 ，该论文的主要作者。“实际上，在这里，您不仅可以求解方程式，而且一旦完成方程式，便可以真正听到它。这真让我兴奋，也很有趣。”
预测声音
借助几何形状和物理运动，该系统可以确定每个对象的振动以及这些振动如何像扬声器一样激发声波。它可以计算由于快速移动和振动的表面而散发出的压力波，但不会复制房间的声音。因此，尽管它不能在宏伟的大教堂中重现回声，但它可以解决诸如c鼓崩溃，倒置的碗旋转到停止，玻璃杯中充满水或虚拟人物正在向扩音器说话等场景发出的详细声音。 。
与动画相关的大多数声音都依赖于预先录制的剪辑，这需要大量的人工才能与屏幕上的动作同步。这些片段还仅限于存在的噪声-它们无法预测任何新的事物。其他产生和预测声音的效果与James和他的团队的声音一样精确的系统只能在特殊情况下工作，或者假设几何形状不会发生太大变形。对于每个单独的对象，它们还需要很长的预计算阶段。
詹姆士实验室的研究生，论文的合著者安特·屈(Ante Qu)说：“我们的本质上只是一个渲染按钮，它具有最少的预处理，可以在一次声波模拟中将所有对象一起处理。”
这种方法产生的模拟声音非常详细。它不仅考虑了动画中每个对象产生的声波，而且还根据它们与场景中其他对象的相互作用，预测这些波如何弯曲，反弹或消逝。
未来的挑战
按照目前的形式，小组的过程需要一段时间才能创建出成品。但是，既然他们已经证明了该技术的潜力，他们就可以专注于性能优化，例如在并行GPU硬件上实施其方法，这应该可以大大加快速度。
而且，即使在当前状态下，结果也值得期待。
詹姆斯说：“我们使用该系统生成的第一批水声音是我们模拟的最佳声音之一，而水对于计算机生成的声音来说是巨大的挑战。” “我们认为我们可能会有所改善，但即使是开箱即用，它也比以前的方法要好得多。真的很惊人。”
尽管该小组的工作忠实地呈现了各种对象相互旋转，掉落和撞击的声音，但更复杂的对象和交互作用(例如Stradivarius小提琴的回响音调)仍然难以实际建模。该组织表示，这将不得不等待未来的解决方案。
标签： 计算机科学