生命科学预印本模拟阅读 1 分钟

为什么一个弹簧网络也需要睡觉?

什么是睡眠?它被界定为一种可逆的休息状态,动物在其中对周围环境的反应减弱——并且在被剥夺睡眠之后需要更多的睡眠。按这样的定义,睡眠遍布整个动物界:哺乳动物和鸟类、鱼类和蠕虫,甚至包括没有中枢神经系统的动物,比如水母和水螅。这种普遍性引出了锡拉丘兹大学的Nada Elmeligy、Nidhi Pashine和J. M. Schwarz提出的一个问题:对睡眠的需求会不会来自学习本身,无论进行学习的是什么系统?

人工智能给出了部分答案:自“醒–睡”(wake–sleep)算法以来,类似睡眠的阶段一直帮助神经网络在学习新东西的同时不忘记旧东西。但这些网络遵循的是数学上规定好的学习规则。团队想要更简单、纯粹物理的东西——一种通过自身力学进行学习的材料。

会学习的弹簧

他们的学习者是一个无序弹簧网络:128个节点由354到366根弹簧相连。它必须学习的任务是一项力学任务。当一对力拉动某根弹簧(输入)时,较远处的另一根弹簧(输出)必须以精确的张力作出回应。学习是局部进行的:每根弹簧根据自身感受到的张力调整自己的刚度,无需中央处理器。

团队让50个这样的网络经历一个由23次访问组成的任务流:九项新任务,夹杂着对先前任务的14次重复。随着任务流推进,能学会新任务的网络比例越来越小。问题不在任务本身:如果从初始状态出发、先训练这些任务,它们被学会的频率更高。

学习会耗尽学习的能力

解释在于作者称之为支配度(dominance)的一个量。拉动一根弹簧的两端,负载会分散开来:一部分留在这根弹簧里,其余部分经由它周围的网络传递。一根弹簧的支配度就是它保留的份额,介于0和1之间。一根承担全部负载的弹簧再也无法把变化传递给网络的其余部分;一根什么都不承担的弹簧则没有什么可以传递。它对学习的有用程度——作者称之为可塑性(plasticity)——是乘积f(1 − f):在两个极端处为零,在二分之一处最大。

训练前,各弹簧的支配度都接近平均值。训练使它们两极分化:一些弹簧最终几乎承担了其两端之间的全部负载,另一些几乎什么都不承担。团队在这里证明了一条精确的定律。把所有弹簧的可塑性加起来,得到网络的学习容量C;测量支配度偏离平均值的程度,得到极化度P。于是,C + P是一个常数,只由网络的结构决定。每获得一分极化,就失去一分学习容量。作者把P称为网络的“睡眠压力”。在模拟中,在C较高时到来的任务被学会的频率要高得多。

倾听噪声

损伤能否被修复?原则上可以:削弱支配度过高的弹簧,加强过弱的弹簧。难点在于,一根弹簧的支配度取决于整个网络。团队找到了一条局部捷径:用微小的随机力从内部摇动网络,每根弹簧的平均储存能量就会揭示它的支配度。这样,每根弹簧只需要知道自己的刚度和伸长量。

在两次任务访问之间插入这种修复,让网络在整个任务流中持续学习。在50个网络中的49个里,它都胜过了向静息刚度的盲目松弛。它还呼应了动物睡眠的几个特征。在没有新东西要学时,修复有害;当约40%的访问带来新任务时,它帮助最大。跳过最后三次修复,会让“睡眠压力”累积起来,而补回来需要额外的剂量——不过只需被跳过部分的75.3%,跳过六次后则为52.2%。

为什么修复必须等待

为什么不在学习的同时修复?因为正在进行的任务会给承载它的弹簧增加应变。它们的能量读数会升高——在全部50个网络中都是如此——于是修复会把忙碌的弹簧误认为支配度过高的弹簧,从而软化了正在使用的通路。在任务期间进行的修复,效果远不如离线进行的修复。

由于这种偏差只会把读数往上推,一根在任务期间读数仍然偏弱的弹簧就确实是弱的。于是团队尝试了一种分工:在“醒”时加强,只在“睡”时削弱。它的效果几乎与完全离线的修复一样好。反过来的分工在每个网络中都损害了表现。作者注意到大鼠视觉皮层中的一个相似现象:在清醒时活动被向上调整,在睡眠时被向下调整——他们把这一可能的物理解释作为一个有待检验的假说提出。

开关仍由外部拨动

这些网络不会自己决定去睡觉:一个外部的监督者安排学习和修复,并设定恢复目标。而且,由于修复对过去的任务一无所知,它会侵蚀记忆,这与生物睡眠不同,后者还会重新激活白天的经历。作者接下来要问的是:学习者何时会自行切换到离线阶段——以及某种物理形式的做梦能否保护它刚刚学到的东西。