一个国际研究团队设计并制造了一种芯片，该芯片可以直接在内存中运行计算，并且可以运行各种AI应用程序——所有这些都只是通用AI计算计算平台消耗的能量的一小部分。

NeuRRAM神经形态芯片使AI更接近于在广泛的边缘设备上运行，与云断开连接，它们可以随时随地执行复杂的认知任务，而无需依赖与中央服务器的网络连接。应用遍及世界的每一个角落和我们生活的方方面面，从智能手表到VR耳机、智能耳塞、工厂中的智能传感器和用于太空探索的漫游车。

NeuRRAM芯片的能效不仅是最先进的“内存计算”芯片的两倍，这是一种在内存中运行计算的创新混合芯片，它还提供与传统的数字芯片。传统的人工智能平台体积更大，通常受限于使用在云中运行的大型数据服务器。

此外，NeuRRAM芯片用途广泛，支持多种不同的神经网络模型和架构。因此，该芯片可用于许多不同的应用，包括图像识别和重建以及语音识别。

“传统观点认为，内存计算的更高效率是以多功能性为代价的，但我们的NeuRRAM芯片在不牺牲多功能性的情况下获得了效率，”该论文的第一通讯作者、最近获得博士学位的WeierWan说。毕业于斯坦福大学，曾在加州大学圣地亚哥分校从事芯片工作，在那里他与生物工程系的GertCauwenberghs共同担任顾问。

由加州大学圣地亚哥分校的生物工程师共同领导的研究小组在8月17日的Nature杂志上展示了他们的研究结果。

目前，人工智能计算既耗电又昂贵。边缘设备上的大多数人工智能应用程序都涉及将数据从设备移动到云端，人工智能在云端对其进行处理和分析。然后将结果移回设备。这是因为大多数边缘设备都是电池供电的，因此只能用于计算的电量有限。

通过降低边缘AI推理所需的功耗，这款NeuRRAM芯片可以带来更强大、更智能、更易于访问的边缘设备和更智能的制造。它还可以带来更好的数据隐私，因为将数据从设备传输到云会带来更高的安全风险。

在AI芯片上，将数据从内存转移到计算单元是一大瓶颈。

“这相当于每天两个小时的通勤时间为八小时，”万说。

为了解决这个数据传输问题，研究人员使用了所谓的电阻式随机存取存储器，这是一种非易失性存储器，允许直接在存储器内而不是在单独的计算单元中进行计算。RRAM和其他用作神经形态计算的突触阵列的新兴内存技术是在斯坦福大学Wan的顾问、这项工作的主要贡献者PhilipWong的实验室中开创的。使用RRAM芯片进行计算不一定是新事物，但通常会导致在芯片上执行的计算的准确性降低，并且芯片架构缺乏灵活性。

“自30多年前引入内存计算以来，它一直是神经形态工程中的常见做法，”Cauwenberghs说。“NeuRRAM的新特点是，现在极高的效率与各种AI应用的极大灵活性相结合，与标准数字通用计算平台相比，准确性几乎没有损失。”

精心设计的方法是在硬件和软件的抽象层上进行多层次“协同优化”的关键，从芯片的设计到运行各种AI任务的配置。此外，该团队确保考虑到从存储设备物理到电路和网络架构的各种限制。

“这款芯片现在为我们提供了一个平台，可以解决从设备和电路到算法的堆栈问题，”圣母大学计算机科学与工程助理教授SiddharthJoshi说，他开始从事该项目的工作是博士学位加州大学圣地亚哥分校Cauwenberghs实验室的学生和博士后研究员。

NeuRRAM芯片的特写。图片来源：DavidBaillot/加州大学圣地亚哥分校

芯片性能

研究人员通过一种称为能量延迟积或EDP的方法来测量芯片的能量效率。EDP​​结合了每次操作消耗的能量和完成操作所需的时间。通过这一措施，与最先进的芯片相比，NeuRRAM芯片的EDP低1.6到2.3倍(越低越好)，计算密度高7到13倍。

研究人员在芯片上运行各种AI任务。它在手写数字识别任务上达到了99%的准确率;85.7%的图像分类任务;84.7%的谷歌语音命令识别任务。此外，该芯片还在图像恢复任务中实现了70%的图像重建误差降低。这些结果可与现有的数字芯片相媲美，这些芯片在相同的位精度下执行计算，但大大节省了能源。

研究人员指出，该论文的一个关键贡献是所有特色结果都是直接在硬件上获得的。在之前的许多内存计算芯片工作中，AI基准测试结果通常部分通过软件模拟获得。

下一步包括改进架构和电路，并将设计扩展到更先进的技术节点。研究人员还计划解决其他应用，例如脉冲神经网络。

匹兹堡大学助理教授RajkumarKubendran说：“我们可以在设备级别做得更好，改进电路设计以实现附加功能并解决各种应用，”他在攻读博士学位期间开始了该项目的工作。.D。加州大学圣地亚哥分校Cauwenberghs研究小组的学生。

此外，Wan是一家致力于生产内存计算技术的初创公司的创始成员。“作为一名研究人员和工程师，我的抱负是将实验室的研究创新转化为实际应用，”万说。

新架构

NeuRRAM能源效率的关键是一种创新的方法来检测内存中的输出。传统方法使用电压作为输入并测量电流作为结果。但这导致需要更复杂和更耗电的电路。在NeuRRAM中，该团队设计了一种神经元电路，可以感应电压并以节能的方式执行模数转换。这种电压模式感测可以在单个计算周期内激活RRAM阵列的所有行和所有列，从而实现更高的并行度。

在NeuRRAM架构中，CMOS神经元电路与RRAM权重物理交错。它不同于传统的设计，其中CMOS电路通常位于RRAM权重的外围。神经元与RRAM阵列的连接可以配置为用作神经元的输入或输出。这允许在各种数据流方向上进行神经网络推理，而不会产生面积或功耗方面的开销。这反过来又使架构更易于重新配置。

为了确保人工智能计算的准确性可以在各种神经网络架构中保持不变，研究人员开发了一套硬件算法协同优化技术。这些技术在各种神经网络上得到了验证，包括卷积神经网络、长短期记忆和受限玻尔兹曼机。

作为神经形态AI芯片，NeuroRRAM跨48个神经突触核心执行并行分布式处理。为了同时实现高通用性和高效率，NeuRRAM通过将神经网络模型中的层映射到多个核上以对多个数据进行并行推理来支持数据并行。此外，NeuRRAM通过将模型的不同层映射到不同的内核并以流水线方式执行推理来提供模型并行性。

NeuRRAM芯片采用了一种创新的架构，该架构已在整个堆栈中进行了协同优化。图片来源：DavidBaillot/加州大学圣地亚哥分校

国际研究团队

这项工作是一个国际研究团队的成果。

加州大学圣地亚哥分校的团队设计了实现与RRAM阵列接口的神经功能的CMOS电路，以支持芯片架构中的突触功能，以实现高效率和多功能性。Wan与整个团队密切合作，实施了设计;表征芯片;训练人工智能模型;并进行了实验。Wan还开发了一个软件工具链，将AI应用程序映射到芯片上。

RRAM突触阵列及其操作条件在斯坦福大学进行了广泛的表征和优化。

RRAM阵列在清华大学制造并集成到CMOS上。

NotreDame的团队为芯片的设计和架构以及随后的机器学习模型设计和培训做出了贡献。

标签：