一种新算法可在VR中实现更逼真的声音效果
当我们观看电影或玩电子游戏时，正确的声音效果可以使场景更加逼真：当灰熊的赌徒在银屏轿车中将银元在桌子上滚动时，声音似乎从耳朵到耳朵传播，这是一个技巧。电影制片人可以通过拼接预先录制的声音来实现这一点，声音可以从一个扬声器传播到另一个扬声器。
但是到目前为止，在虚拟现实中创建这样的感觉几乎是不可能的，因为VR是没有脚本的。很难预测物体可能发出什么噪音，或在哪里听到噪音。为了使VR声音逼真，工程师必须创建大量的“声音模型”，即等同于预录的计算机化模型。每个声音模型将使VR系统能够在需要的确切时刻合成特定的声音。到目前为止，要创建一个声音模型甚至要花大量的计算机集群，并且由于需要许多不同的模型来合成许多不同的潜在声音，因此在交互式环境中创建逼真的声音一直是一个遥不可及的目标。
现在，斯坦福大学的计算机科学家发明了一种算法，该算法可以在几秒钟内创建声音模型，从而使其在虚拟环境中模拟许多不同对象的声音时具有成本效益。当需要声音的动作发生时，这个新模型可以合成声音，就像过去缓慢得多且仍在实验中的算法所产生的声音一样逼真。“礼貌的任命使”计算机科学教授道格•詹姆斯(Doug James)说：“使创建模型变得更加容易，使构建具有逼真的声音效果的交互式环境变得切实可行 。”
创建声音模型的先前算法是基于19世纪科学家Hermann von Helmholtz所做的工作的，他将名字命名为描述声音传播方式的方程式。基于这种理论基础，科学家设计了算法来创建3D声音模型：能够合成似乎逼真的音频的软件例程，因为声音的音量和方向会根据相对于听众的动作发生位置而变化。到目前为止，用于创建3D声音模型的最佳算法都依赖于边界元素法(BEM)，这是一个缓慢的过程，对于商业用途而言成本太高。
詹姆斯和他的研究生合作者王瑞贤(Jui-Hsien Wang)开发了一种算法，可以通过避免亥姆霍兹方程和BEM来快速计算声音模型数百至数千倍。他们的创作方法受到20世纪奥地利作曲家弗里茨·海因里希·克莱因(Fritz Heinrich Klein)的启发，他找到了一种方法，可以将多种钢琴音调和音符融合成一种令人愉悦的单一音色，称为“和弦母亲”。科学家-他们的算法命名为KleinPAT，以示对他的灵感的致敬-在 他们在ACM SIGGRAPH 2019会议上有关计算机图形和交互技术的科学论文中解释了他们的方法如何创建声音模型 。詹姆斯说：“我们认为这是交互式环境的游戏规则改变者。”
标签： VR中实现更逼真声音效果