团队展示了类图灵模式如何欺骗神经网络
Skoltech 研究人员能够证明，可能导致神经网络在识别图像时出错的模式实际上类似于在自然界中发现的图灵模式。将来，该结果可用于设计当前易受攻击的模式识别系统的防御。该论文作为 arXiv预印本，在第 35届AAAI 人工智能会议 (AAAI-21) 上发表。
深度神经网络在图像识别和分类方面既聪明又擅长，但仍然容易受到所谓的对抗性扰动的影响：图像中的小而奇特的细节会导致神经网络输出错误。其中一些是通用的：也就是说，当放置在任何输入上时，它们都会干扰神经网络。
这些扰动可能代表重大的安全风险：例如，在 2018 年，一个团队发表了一篇预印本，描述了一种诱使自动驾驶汽车“看到”良性广告和标志作为道路标志的方法。网络针对此类攻击的大多数已知防御都可以轻松绕过，这一事实加剧了这个问题。
计算和数据密集型科学与工程中心 (CDISE) Skoltech 计算智能实验室的负责人 Ivan Oseledets 教授和他的同事们进一步探索了一种将这些通用对抗性扰动 (UAP) 和经典图灵模式联系起来的理论，首先描述了由杰出的英国数学家艾伦图灵作为自然界中许多图案背后的驱动机制，例如动物身上的条纹和斑点
当 Oseledets 和 Valentin Khrulkov 在 2018 年的计算机视觉和模式识别会议上发表了一篇关于生成 UAP 的论文时，这项研究偶然开始。“一个陌生人走过来告诉我们，这种模式看起来像图灵模式。这种相似性多年来一直是个谜，直到 Skoltech 硕士生 Nurislam Tursynbek、Maria Sindeeva 和博士生 Ilya Vilkoviskiy 组成了一个能够解决这个难题的团队。这也是 Skoltech 高级研究中心和数据密集型科学与工程中心之间内部合作的完美例子，”Oseledets 说。
对抗性扰动的本质和根源对研究人员来说仍然是个谜。“这个引人入胜的财产在攻防之间有着悠久的猫捉老鼠游戏历史。对抗性攻击难以防御的原因之一是缺乏理论。我们的工作朝着通过图灵模式解释 UAP 的迷人特性迈出了一步，图灵模式背后有坚实的理论。这将有助于在未来构建对抗样本理论，”Oseledets 指出。
先前的研究表明，自然图灵模式——比如鱼身上的条纹——可以欺骗神经网络，该团队能够以一种直接的方式展示这种联系，并提供产生新攻击的方法。研究人员补充说：“使基于此类模式的模型具有鲁棒性的最简单设置就是将它们添加到图像中并在扰动图像上训练网络。”
标签：