生命科学プレプリントシミュレーション1分で読めます

ばねのネットワークはなぜ眠る必要があるのか

睡眠とは何か。睡眠は、動物がまわりへの反応を弱める可逆的な休息状態であり、奪われたあとにはより多く必要になるもの、と定義される。そう定義すると、睡眠は動物界のいたるところに見つかる。哺乳類や鳥類、魚や蠕虫、さらには中枢神経系をもたない動物、たとえばクラゲやヒドラにさえある。この広がりから、シラキュース大学のNada Elmeligy、Nidhi Pashine、J. M. Schwarzはある問いを立てた。睡眠の必要性は、学習するシステムが何であれ、学習そのものから生まれるのではないか。

人工知能には部分的な答えがある。「ウェイク・スリープ」(wake–sleep)アルゴリズム以来、睡眠に似た段階は、ニューラルネットワークが古いことを忘れずに新しいことを学ぶのを助けてきた。しかし、そうしたネットワークは数学的に定められた学習規則に従っている。チームが求めたのは、もっと単純で純粋に物理的なもの、つまり自らの力学を通じて学ぶ物質だった。

学習するばね

その学習者は無秩序なばねのネットワークである。128個の節点が354〜366本のばねでつながっている。学ぶべき課題は力学的なものだ。1対の力が1本のばね(入力)を引っぱると、離れたところにある別のばね(出力)が正確な張力で応えなければならない。学習は局所的に起こる。各ばねは、自分が感じる張力から自らの硬さを調整し、中央の処理装置は存在しない。

チームはこうしたネットワーク50個を、23回の提示からなる流れで訓練した。9つの新しい課題に、以前の課題の14回の繰り返しを混ぜたものだ。流れが進むにつれ、新しい課題を学べたネットワークの割合はどんどん小さくなった。課題そのもののせいではない。同じ課題を最初に、つまり初期状態から訓練すると、学習に成功する頻度は高かった。

学習は学ぶ力を使い果たす

説明の鍵は、著者らが優位度(dominance)と呼ぶ量にある。ばねの両端を引っぱると、負荷は広がる。一部はそのばねにとどまり、残りはまわりのネットワークを通っていく。ばねの優位度とは、そのばねにとどまる割合で、0から1のあいだの値をとる。負荷をすべて担うばねは、もはや変化をネットワークの残りに伝えられない。何も担わないばねには、伝えるものがない。学習におけるばねの有用性を著者らは可塑性(plasticity)と呼び、それは積f(1 − f)で表される。両極端ではゼロ、2分の1で最大となる。

訓練の前、ばねの優位度は平均の近くに集まっている。訓練はそれらを分極させる。一部のばねは両端にかかる負荷のほぼすべてを担うようになり、ほかのばねはほとんど何も担わなくなる。ここでチームは厳密な法則を証明する。すべてのばねの可塑性を足し合わせたものをネットワークの学習能力Cとし、優位度が平均からどれだけ外れているかを測ったものを分極Pとする。すると、C + Pは一定であり、その値はネットワークの構造だけで決まる。分極が少しでも増えれば、そのぶん学習能力が失われるのだ。著者らはPをネットワークの「睡眠圧」と呼ぶ。シミュレーションでは、Cが高いときにやってきた課題のほうが、はるかに頻繁に学習された。

ノイズに耳を傾ける

この損傷は元に戻せるのか。原理的には可能だ。優位すぎるばねを弱め、弱すぎるばねを強めればよい。難しいのは、ばねの優位度がネットワーク全体に依存することだ。チームは局所的な近道を見つけた。ネットワークを内側から小さなランダムな力で揺すると、各ばねに蓄えられる平均エネルギーがその優位度を明らかにする。そうすれば、各ばねが必要とするのは自分の硬さと伸びだけになる。

課題の提示のあいだに挟むと、この修復は流れ全体を通じてネットワークに学習を続けさせた。静止時の硬さへ向かって盲目的に緩和させる方法を、50個のネットワークのうち49個で上回った。動物の睡眠のいくつかの特徴にも通じていた。新しいことを何も学んでいないときには修復は逆効果で、提示の約40%が新しい課題をもたらすときに最もよく効いた。最後の3回の修復を飛ばすと「睡眠圧」がたまり、取り戻すには上乗せの修復が必要になった。ただしその量は、飛ばしたぶんの75.3%にすぎず、6回飛ばした場合は52.2%だった。

修復が待たなければならない理由

なぜ学習しながら修復しないのか。進行中の課題は、それを担うばねにひずみを加えるからだ。そうしたばねのエネルギーの読み取り値は、50個のネットワークすべてで上がる。そのため修復は、忙しく働いているばねを優位すぎるばねと取り違え、まさに使われている経路を軟らかくしてしまう。課題の最中に行った修復は、オフラインで行った修復よりはるかに悪い結果になった。

偏りは読み取り値を常に上へ押し上げるだけなので、課題の最中でも弱いと読み取られるばねは、本当に弱い。そこでチームは分担を試した。強めるのは「覚醒」中、弱めるのは「睡眠」中だけとするのだ。これは、完全にオフラインの修復とほぼ同じくらいうまくいった。逆の分担は、すべてのネットワークで性能を損なった。著者らは、ラットの視覚野との類似を指摘している。そこでは、活動が覚醒中に上向きに、睡眠中に下向きに調整される。ありうる物理的な説明だが、著者らはこれを検証すべき仮説として示している。

スイッチはまだ外から入れられる

ネットワークは自分で眠ることを決めるわけではない。外部の監督者が学習と修復の予定を組み、回復の目標を設定する。また、修復は過去の課題について何も知らないので、記憶をむしばむ。この点は生物の睡眠と異なる。生物の睡眠は、その日の経験を再活性化もするからだ。著者らの次の問いは、学習者がいつ自らオフラインの段階に切り替えるのか、そして物理的な形の夢が、学んだばかりのことを守れるのか、である。