新的AI培训方法可在单个台式机或笔记本电脑上使用
训练AI模型的计算量非常大。研究人员经常使用超级计算机来准备模型，其影响可能是严重的：单个模型的训练过程可能足够密集，以产生五辆汽车在整个汽车寿命内产生的碳排放量。除了前期成本和影响之外，这种计算强度还会增加AI模型的进入壁垒-对于那些旨在为研究问题提供更有效，成本更低的解决方案的模型，这有点自相矛盾。现在，来自南加州大学(USC)和英特尔实验室的研究人员开发了一种在单个台式机工作站上训练AI模型的新方法。
在2020年国际机器学习会议(ICML)上作为论文提出的新方法，可训练深度强化学习(RL)算法。南加州大学的研究生Aleksei Petrenko在他的英特尔实习期结束后就开始了该项目，并且他无法访问迄今为他正在进行的RL工作提供动力的强大计算集群。为了消除使用这种计算能力的必要性，Petrenko和他的同事开始从事“样品工厂”的工作，该工厂将通常捆绑在一起的RL作业拆分开，以便可以对其进行单独优化并在计算机的单独组件上运行。研究人员还将来自进程的所有数据放入共享内存中，以便进程更快地进行访问。
通过教授AI玩经典的第一人称射击游戏Doom以及DeepMind提供的其他30个3D挑战，对Sample Factory进行了测试。在具有一个(高核数)CPU和一个GPU的单个工作站上，该团队每秒可完成140,000帧分析，是次佳方法的两倍。当扩展到功能更强大的计算机时，Sample Factory的性能甚至更好：四GPU的计算机能够快速应对DeepMind的30个挑战，从而胜过DeepMind在其上测试自己的挑战的AI，后者在功能更强大的计算机上进行了训练。
“根据我的经验，很多研究人员无法使用尖端的高端硬件，” Petrenko在接受 IEEE Spectrum的Edd Gent 采访时说。“我们意识到，只要重新考虑最大程度地提高硬件利用率，您实际上就可以达到通常即使在单个工作站上也可以从大型集群中挤出的性能。”
尽管实验所用的工作站是一个相对强大的台式机，但研究人员还看到了消费级计算机的发展：例如，Petrenko在他的中档笔记本电脑上进行了深入的RL实验-他说这是“闻所未闻的飞跃”的。”
标签： AI培训方法