液体机器学习系统适应不断变化的条件
麻省理工学院的研究人员开发了一种神经网络,可以在工作中学习,而不仅仅是在训练阶段。这些被称为“液体”网络的灵活算法会改变其底层方程以不断适应新的数据输入。这一进步可以帮助基于随时间变化的数据流做出决策,包括涉及医疗诊断和自动驾驶的数据流。
“这是未来机器人控制、自然语言处理、视频处理——任何形式的时间序列数据处理的一种方式,”该研究的主要作者拉明哈萨尼说。“潜力非常大。”
该研究将在2月份的AAAI人工智能会议上发表。除了麻省理工学院计算机科学与人工智能实验室(CSAIL)的博士后哈萨尼之外,麻省理工学院的合著者还包括CSAIL主任丹妮拉·罗斯、安德鲁和厄娜·维特比电气工程与计算机科学教授,以及博士生亚历山大·阿米尼。其他合著者包括奥地利科学技术研究所的MathiasLechner和维也纳科技大学的RaduGrosu。
Hasani表示,时间序列数据无处不在,而且对我们理解世界至关重要。“现实世界都是关于序列的。甚至我们的感知——你不是在感知图像,而是在感知图像序列,”他说。“所以,时间序列数据实际上创造了我们的现实。”
他将视频处理、金融数据和医疗诊断应用程序作为对社会至关重要的时间序列示例。这些不断变化的数据流的变迁是不可预测的。然而,实时分析这些数据并使用它们来预测未来的行为,可以促进自动驾驶汽车等新兴技术的发展。因此Hasani构建了一个适合该任务的算法。
Hasani设计了一个神经网络,可以适应现实世界系统的可。神经网络是通过分析一组“训练”示例来识别模式的算法。人们常说它们模仿大脑的处理途径——哈萨尼直接从微观线虫C.elegans中汲取灵感。“它的神经系统中只有302个神经元,”他说,“但它可以产生出乎意料的复杂动态。”
Hasani对他的神经网络进行了编码,并仔细关注了秀丽隐杆线虫神经元如何通过电脉冲激活和相互交流。在他用来构建神经网络的方程中,他允许参数根据一组嵌套微分方程的结果随时间变化。
这种灵活性是关键。大多数神经网络的行为在训练阶段之后是固定的,这意味着它们无法适应传入数据流的变化。Hasani说,他的“液体”网络的流动性使其对意外或嘈杂的数据更具弹性,比如大雨遮挡了自动驾驶汽车上的摄像头的视野。“所以,它更强大,”他说。
他补充说,网络的灵活性还有另一个优势:“它更具可解释性。”
Hasani说他的流动网络避开了其他神经网络常见的难以理解的问题。“只要改变神经元的表示,”哈萨尼用微分方程做的,“你真的可以探索一些你无法探索的复杂程度。”由于Hasani的少数高表达神经元,更容易窥视网络决策的“黑匣子”并诊断网络为何做出某种特征。
“模型本身在表现力方面更加丰富,”哈萨尼说。这可以帮助工程师了解和改进液体网络的性能。
Hasani的网络在一系列测试中表现出色。它在准确预测数据集(从大气化学到交通模式)中的未来值方面领先于其他最先进的时间序列算法几个百分点。“在许多应用中,我们看到性能可靠地很高,”他说。此外,该网络的小规模意味着它在没有高昂的计算成本的情况下完成了测试。“每个人都在谈论扩大他们的网络,”哈萨尼说。“我们希望缩小规模,拥有更少但更丰富的节点。”
Hasani计划不断改进该系统并为工业应用做好准备。“我们有一个可证明更具表现力的神经网络,其灵感来自大自然。但这只是过程的开始,”他说。“显而易见的问题是你如何扩展它?我们认为这种网络可能成为未来情报系统的关键要素。”
标签: