“Liquid” machine-learning system adapts to changing conditions
“液体”机器学习系统适应不断变化的环境
这种新型的神经网络可以辅助自主驾驶和医疗诊断的决策
日期：1月28日, 2021
MIT新闻办公室
原载：
https://news.mit.edu/2021/machine-learning-adapts-0128
麻省理工学院的研究人员开发了一种神经网络，它不仅在训练阶段，而且在工作中学习。这些灵活的算法，被称为“液体”网络，改变其基本方程，以不断适应新的数据输入。这项进步可以帮助决策的基础上，数据流的变化随着时间的推移，包括那些涉及医疗诊断和自动驾驶。
这项研究的主要作者拉明·哈萨尼说：“这是机器人控制、自然语言处理、视频处理——任何形式的时间序列数据处理——未来的发展方向。”。“潜力确实很大。”
这项研究将在2月份的AAAI人工智能会议上发表。除了麻省理工学院计算机科学和人工智能实验室（CSAIL）的博士后哈萨尼之外，麻省理工学院的合著者还包括CSAIL主任、电气工程和计算机科学教授安德鲁和埃尔纳·维特比以及博士生亚历山大·阿米尼。其他合著者包括奥地利科学技术研究所的马蒂亚斯·莱赫纳和维也纳理工大学的拉杜·格罗苏。
哈萨尼认为，时间序列数据无处不在，对我们了解世界至关重要。“现实世界都是关于序列的。甚至我们的感知——你不是在感知图像，你是在感知图像序列，”他说。“所以，时间序列数据实际上创造了我们的现实。”
他指出，视频处理、金融数据和医疗诊断应用是时间序列的例子，这些都是社会的核心。这些不断变化的数据流的变化是不可预测的。然而，实时分析这些数据，并利用这些数据预测未来的行为，可以推动自动驾驶汽车等新兴技术的发展。所以哈萨尼建立了一个适合这个任务的算法。
哈萨尼设计了一种能适应现实系统变化的神经网络。神经网络是通过分析一组“训练”实例来识别模式的算法。人们常说，它们模仿大脑的加工途径——哈萨尼直接从显微镜下的线虫C.elegans中获得灵感。“它的神经系统只有302个神经元，”他说，“但它能产生出人意料的复杂动力学。”
哈萨尼对他的神经网络进行了编码，并仔细研究了线虫神经元是如何通过电脉冲激活和相互交流的。在他用来构造神经网络的方程中，他根据一组嵌套微分方程的结果，允许参数随时间变化。
这种灵活性是关键。大多数神经网络的行为在训练阶段之后是固定的，这意味着它们不善于适应传入数据流的变化。哈萨尼说，他的“液体”网络的流动性使得它对意外或嘈杂的数据更具弹性，比如如果大雨遮住了自动驾驶汽车上摄像头的视线。“所以，它更健壮，”他说。
网络的灵活性还有另一个优势，他补充道：“它更易于解释。”
哈萨尼说，他的液体网络绕过了其他神经网络常见的不可理解性。“只要改变神经元的表现形式，”哈萨尼用微分方程做了这件事，“你真的可以探索一些你无法探索的复杂程度。”由于哈萨尼有少量高表达的神经元，更容易窥探到网络决策的“黑匣子”，并诊断为什么网络做出了某种表征。
哈萨尼说：“模型本身在表现力方面更为丰富。这有助于工程师了解和提高液体网络的性能。
哈萨尼的网络在一系列测试中表现出色。在准确预测未来数据集（从大气化学到交通模式）值方面，它比其他最先进的时间序列算法领先了几个百分点。他说：“在许多应用中，我们看到性能确实很高。此外，该网络的小尺寸意味着它完成测试时不会产生高昂的计算成本。“每个人都在谈论扩大他们的网络规模，”哈萨尼说。“我们想缩小规模，拥有更少但更丰富的节点。”
哈萨尼计划不断改进该系统，并为工业应用做好准备。“我们有一个受大自然启发的更具表现力的神经网络。但这只是过程的开始，”他说。“显而易见的问题是，你如何扩展这一点？我们认为这种网络可能是未来智能系统的一个关键因素。”
这项研究的部分资金来源于波音公司、国家科学基金会、奥地利科学基金会以及欧洲领导层的电子元件和系统。