WARUM SOLLTE EIN NETZWERK AUS FEDERN SCHLAF BRAUCHEN?
Was ist Schlaf? Er gilt als umkehrbarer Ruhezustand, in dem ein Tier weniger auf seine Umgebung reagiert — und von dem es mehr braucht, nachdem es ihm entzogen wurde. So definiert, findet sich Schlaf im ganzen Tierreich: bei Säugetieren und Vögeln, Fischen und Würmern und sogar bei Tieren ohne zentralisiertes Nervensystem, etwa Quallen und Hydren. Diese Breite wirft eine Frage auf, die Nada Elmeligy, Nidhi Pashine und J. M. Schwarz an der Syracuse University stellen: Könnte das Schlafbedürfnis aus dem Lernen selbst entstehen, unabhängig davon, welches System lernt?
Die künstliche Intelligenz hat eine Teilantwort: Seit dem „wake–sleep“-Algorithmus helfen schlafähnliche Phasen neuronalen Netzen, Neues zu lernen, ohne Altes zu vergessen. Doch diese Netze folgen mathematisch vorgeschriebenen Lernregeln. Das Team wollte etwas Einfacheres und rein Physikalisches — ein Material, das durch seine eigene Mechanik lernt.
Federn, die lernen
Ihr Lernsystem ist ein ungeordnetes Netzwerk aus Federn: 128 Knoten, verbunden durch 354 bis 366 Federn. Die Aufgabe, die es lernen muss, ist mechanischer Natur. Wenn ein Kräftepaar an einer Feder zieht (dem Eingang), muss eine andere, weiter entfernte Feder (der Ausgang) mit einer präzisen Spannung reagieren. Das Lernen geschieht lokal: Jede Feder passt ihre eigene Steifigkeit anhand der Spannungen an, die sie spürt, ohne zentralen Prozessor.
Das Team trainierte 50 solcher Netzwerke mit einer Folge von 23 Durchgängen: neun neue Aufgaben, gemischt mit 14 Wiederholungen früherer. Im Verlauf der Folge schaffte es ein immer kleinerer Anteil der Netzwerke, die neuen Aufgaben zu lernen. An den Aufgaben selbst lag es nicht: Als Erstes trainiert, vom Ausgangszustand aus, wurden dieselben Aufgaben häufiger gelernt.
Lernen verbraucht die Fähigkeit zu lernen
Die Erklärung liegt in einer Größe, die das Team Dominanz (dominance) nennt. Zieht man an den beiden Enden einer Feder, verteilt sich die Last: Ein Teil bleibt in dieser Feder, der Rest läuft durch das Netzwerk um sie herum. Die Dominanz einer Feder ist der Anteil, den sie behält, zwischen 0 und 1. Eine Feder, die die gesamte Last trägt, kann keine Änderungen mehr an den Rest des Netzwerks weitergeben; eine Feder, die nichts trägt, hat nichts weiterzugeben. Ihr Nutzen für das Lernen, vom Team ihre Plastizität (plasticity) genannt, ist das Produkt f(1 − f): null an beiden Extremen, am größten bei der Hälfte.
Vor dem Training liegen die Dominanzen der Federn nahe am Mittelwert. Das Training polarisiert sie: Manche Federn tragen am Ende fast die gesamte Last zwischen ihren Enden, andere fast keine. Und hier beweist das Team ein exaktes Gesetz. Addiert man die Plastizität aller Federn, erhält man die Lernkapazität C des Netzwerks; misst man, wie weit die Dominanzen vom Mittelwert abweichen, erhält man die Polarisation P. Dann ist C + P eine Konstante, allein durch die Struktur des Netzwerks festgelegt. Jedes Stück gewonnene Polarisation ist verlorene Lernkapazität. Das Team nennt P den „Schlafdruck“ des Netzwerks. In den Simulationen wurden Aufgaben, die bei hohem C eintrafen, weit häufiger gelernt.
Auf das Rauschen hören
Lässt sich der Schaden rückgängig machen? Im Prinzip ja: zu dominante Federn schwächen, zu schwache stärken. Die Schwierigkeit ist, dass die Dominanz einer Feder vom gesamten Netzwerk abhängt. Das Team fand eine lokale Abkürzung: Schüttelt man das Netzwerk von innen mit kleinen zufälligen Kräften, verrät die mittlere gespeicherte Energie jeder Feder ihre Dominanz. Jede Feder braucht dann nur ihre eigene Steifigkeit und Dehnung.
Zwischen die Aufgabendurchgänge eingeschoben, hielt diese Reparatur die Netzwerke lernfähig, über die ganze Folge hinweg. Sie schlug eine blinde Entspannung in Richtung Ruhesteifigkeit in 49 der 50 Netzwerke. Sie erinnerte auch an mehrere Merkmale des tierischen Schlafs. Die Reparatur schadete, wenn nichts Neues gelernt wurde, und half am meisten, wenn etwa 40 % der Durchgänge eine neue Aufgabe brachten. Ließ man die letzten drei Reparaturphasen aus, baute sich „Schlafdruck“ auf, und das Nachholen erforderte eine zusätzliche Dosis — allerdings nur 75,3 % dessen, was ausgelassen worden war, und 52,2 % nach sechs verpassten Phasen.
Warum die Reparatur warten muss
Warum nicht während des Lernens reparieren? Weil eine laufende Aufgabe die Federn, die sie tragen, zusätzlich belastet. Ihre Energiemesswerte gehen nach oben — in allen 50 Netzwerken —, sodass die Reparatur beschäftigte Federn mit übermäßig dominanten verwechselt und genau die Pfade aufweicht, die gerade genutzt werden. Eine Reparatur während der Aufgabe lieferte viel schlechtere Ergebnisse als eine Reparatur offline.
Da die Verzerrung die Messwerte immer nur nach oben drückt, ist eine Feder, die während einer Aufgabe noch schwach erscheint, wirklich schwach. Also versuchte das Team eine Aufteilung: im „Wachzustand“ stärken, nur im „Schlaf“ schwächen. Das funktionierte fast so gut wie eine vollständig offline durchgeführte Reparatur. Die umgekehrte Aufteilung verschlechterte die Leistung in jedem Netzwerk. Das Team verweist auf eine Parallele im visuellen Cortex von Ratten, wo die Aktivität im Wachzustand nach oben und im Schlaf nach unten angepasst wird — eine mögliche physikalische Erklärung, die es als zu prüfende Hypothese vorstellt.
Ein Schalter, der noch von außen umgelegt wird
Die Netzwerke beschließen nicht selbst zu schlafen: Eine externe Steuerinstanz plant Lernen und Reparatur und legt das Erholungsziel fest. Und weil die Reparatur nichts von vergangenen Aufgaben weiß, trägt sie Erinnerungen ab, anders als biologischer Schlaf, der auch die Erlebnisse des Tages reaktiviert. Die nächsten Fragen des Teams lauten, wann ein Lernsystem von selbst in eine Offline-Phase wechseln würde — und ob eine physikalische Form des Träumens schützen könnte, was es gerade gelernt hat.
