一项研究展示了人工智能生成的视觉效果如何与传统的视频游戏引擎相结合
2022年1月11日整理发布：这是一个简单的驾驶模拟器，但可能是视频游戏图形革命的开始最近人工智能的繁荣在一个有点令人惊讶的领域产生了令人印象深刻的结果：图像和视频生成的世界。最新的例子来自芯片设计师英伟达，该公司今天发表了一项研究，展示了人工智能生成的视觉效果如何与传统的视频游戏引擎相结合。结果是一种混合图形系统，有朝一日可以用于视频游戏、电影和虚拟现实。
“这是一种使用深度学习渲染视频内容的新方法，”Nvidia 应用深度学习副总裁 Bryan Catanzaro 告诉The Verge。“显然 Nvidia 非常关心生成图形 [并且] 我们正在考虑 AI 将如何彻底改变该领域。”
Nvidia 的工作结果并不逼真，并且显示了在许多 AI 生成的图像中发现的商标视觉拖尾。它们也不是完全新颖的。在一篇研究论文中，该公司的工程师解释了他们如何建立在许多现有方法的基础上，包括一个有影响力的开源系统 pix2pix。他们的作品部署了一种称为生成对抗网络或 GAN 的神经网络。这些被广泛用于 AI 图像生成，包括用于创建佳士得最近出售的AI 肖像。
“我们正在考虑人工智能将如何彻底改变这个领域。”
但英伟达推出了多项创新，其中一项产品据说是有史以来第一个使用 AI 生成图形的视频游戏演示。这是一个简单的驾驶模拟器，玩家可以在几个城市街区的 AI 生成空间中导航，但不能离开他们的汽车或以其他方式与世界互动。该演示仅使用单个 GPU 提供支持——对于此类尖端工作而言，这是一项显着的成就。(虽然 GPU 是该公司 3,000 美元Titan V 中的佼佼者，但它是“有史以来最强大的 PC GPU”，通常用于高级模拟处理而不是游戏。)
Nvidia 的系统使用几个步骤生成图形。首先，研究人员必须收集训练数据，在这种情况下，这些数据来自用于自动驾驶研究的开源数据集。然后对这段视频进行分段，这意味着每一帧都被分成不同的类别：天空、汽车、树木、道路、建筑物等。然后在这些分割数据上训练一个生成对抗网络，以生成这些对象的新版本。
接下来，工程师使用传统游戏引擎创建了虚拟环境的基本拓扑。在这种情况下，系统是 Unreal Engine 4，这是一种流行的引擎，用于Fortnite、PUBG、Gears of War 4等游戏。使用这个环境作为框架，深度学习算法然后为每个不同类别的项目实时生成图形，并将它们粘贴到游戏引擎的模型上。
“世界的结构是按传统方式创建的，”Catanzaro 解释说，“人工智能生成的唯一东西就是图形。” 他补充说，演示本身是基本的，是由一个工程师完成的。“这是概念验证，而不是有趣的游戏。”
标签：