液体机器学习系统适应不断变化的条件
新型的神经网络可以帮助自动驾驶和医疗诊断方面的决策。麻省理工学院的研究人员开发了一种神经网络,可以在工作中学习,而不仅仅是在培训阶段。这些灵活的算法被称为“液体”网络,可以更改其基本公式,以不断适应新的数据输入。这一进步可以帮助根据随时间变化的数据流做出决策,包括与医学诊断和自动驾驶有关的数据流。
麻省理工学院的研究人员开发了一种神经“液体”网络,该网络可以改变方程式的参数,从而增强其分析时间序列数据的能力。图片来源:麻省理工学院Jose-Luis Olivares
该研究的 主要作者拉米·哈萨尼说:“这是未来机器人控制,自然语言处理,视频处理-任何形式的时间序列数据处理的前进方向 。” “潜力确实很大。”
这项研究将在2月的AAAI人工智能会议上进行。除了Hasani,麻省理工学院计算机科学与人工智能实验室(CSAIL)的博士后,麻省理工学院的合著者还包括CSAIL主任Daniela Rus,电气工程与计算机科学系的Andrew and Erna Viterbi教授以及博士生Alexander Amini。其他合著者包括奥地利科学技术学院的Mathias Lechner和维也纳工业大学的Radu Grosu。
哈萨尼说,时间序列数据对于我们对世界的理解来说无处不在且至关重要。“现实世界全都与序列有关。甚至我们的感知-您不是在感知图像,而是在感知图像序列,”他说。“因此,时序数据实际上创造了我们的现实。”
他指出视频处理,财务数据和医疗诊断应用程序是对社会至关重要的时间序列示例。这些不断变化的数据流的变迁是不可预测的。然而,实时分析这些数据,并使用它们预测未来的行为,可以促进自动驾驶汽车等新兴技术的发展。因此,哈萨尼(Hasani)建立了适合该任务的算法。
Hasani设计了一种神经网络,可以适应现实世界系统的可变性。神经网络是通过分析一组“训练”示例来识别模式的算法。人们常说它们模仿了大脑的加工路径-Hasani直接从细线虫C. elegans身上汲取了灵感 。他说:“它的神经系统只有302个神经元,但它却可以产生意想不到的复杂动力。”
Hasani对他的神经网络进行了编码,并特别注意秀丽隐杆线虫 神经元如何 通过电脉冲激活和相互交流。在他用来构造神经网络的方程式中,他基于一组嵌套的微分方程的结果,允许参数随时间变化。
这种灵活性是关键。大多数神经网络的行为在训练阶段之后是固定的,这意味着它们很难适应传入数据流中的变化。哈萨尼说,他的“液体”网络的流动性使其对意外或嘈杂的数据更具弹性,就像大雨遮挡了自动驾驶汽车上摄像机的视线一样。他说:“因此,它更强大。”
他补充说,网络灵活性的另一个优势是:“它更具解释性。”
哈萨尼说,他的液体网络避开了 其他神经网络所 共有的难解性。Hasani对微分方程所做的“仅改变神经元的表示,就可以真正探索出某种程度的复杂性,而这些复杂性是您无法探索的。” 由于Hasani的高表达神经元数量很少,因此更容易窥视网络决策的“黑匣子”并诊断网络为何具有特定特征。
哈萨尼说:“模型本身在表达能力方面更丰富。” 这可以帮助工程师了解并改善流动网络的性能。
Hasani的网络在一系列测试中表现出色。在准确预测数据集的未来值(从大气化学到交通模式)方面,它使其他最新的时间序列算法的优势降低了几个百分点。他说:“在许多应用中,我们看到性能确实很高。” 另外,该网络的体积小,意味着它无需花费高昂的计算成本即可完成测试。“所有人都在谈论扩大其网络,”哈萨尼说。“我们希望缩减规模,以减少节点数量,但增加节点数量。”
Hasani计划继续改进该系统,并将其投入工业应用。“我们拥有一个受自然启发的更具表现力的神经网络。但这只是该过程的开始。”他说。“显而易见的问题是您如何扩展此范围?我们认为这种网络可能是未来情报系统的关键要素。”
标签: