万亿晶体管芯片打破速度记录
世界上最大的计算机芯片是如此之快和强大,它可以预测未来的行为“比物理定律产生相同结果的速度更快”。
根据初创公司Cerebras Systems的帖子,这是在本周的在线SC20超级计算会议上提出的。
Cerebras与美国能源部国家能源技术实验室合作设计了所谓的“世界上最强大的AI计算系统”。它创建了一块尺寸为8.5平方英寸的大型芯片Cerebras CS-1,该芯片安装在冰箱大小的计算机中,旨在改进深度学习训练模型。
Cerebras团队负责人Michael James和能源部的Dirk Van Essendelft在他们的论文中说,由1.2万亿个晶体管供电的CS-1在模拟电厂燃烧过程中的性能是焦耳超级计算机的200倍。他们说,无论超级计算机容纳多少CPU和GPU,该芯片的性能都无法与之匹敌。
焦耳使用Intel Xeon芯片,每个芯片具有20个内核,共16,000个内核。计算燃烧过程花了六毫秒。大脑在28微秒内完成了任务。
该芯片由沿着单个硅片的84个虚拟芯片和4,539个计算核心组成,这意味着实际上有381,276个计算核心可以并行处理数学过程。内核装有18 GB RAM,并与名为Swarm的通信架构连接,该架构每秒运行100 petabits。
Cerebras的研究人员在博客中写道:“这项工作为科学计算性能的重大突破打开了大门。” “ CS-1是有史以来第一个展示足够性能的系统,它可以比实时速度更快地模拟超过一百万个流体单元。这意味着,当CS-1用于基于有关其当前运行状况的数据来模拟发电厂时, ,它可以告诉您未来将发生什么,比物理学定律产生的结果要快。”
Cerebras的首席执行官Andrew Feldman说:“我们可以在没有GPU或CPU数量的情况下解决这个问题。” “这意味着用于这项工作的CS-1是有史以来最快的机器,并且比其他处理器集群的任何组合都要快。”
Cerebras和能源部研究人员在周二召开的会议上发表的题为“在晶圆级处理器上的快速模板代码计算”的论文中,共享内存是CS-1和Joule机器之间的关键区别。
报告指出:“试图理解为什么会出现这种显着差异是很有趣的。” 即使Joules具有显着更多的内存,在Joules计算机中使用的Intel Xeon高速缓存“似乎在从可用的SRAM中获得性能方面效率较低”。原因之一是Xeon内核仅以Cerebras内核峰值速率的40%运行。
相反,Cerebras内核无需竞争共享的RAM内存,从而最大限度地利用了每个内核中48KB的空间。
标签: 万亿晶体管芯片