EIN SPRACHMODELL SCHREIBT SEINE EIGENEN GEWICHTE UM
Ein Sprachmodell wird einmal trainiert, eingefroren und eingesetzt. Um es zu verbessern, braucht man normalerweise einen weiteren Trainingslauf — große Rechencluster, eine Trainingspipeline und Leute, die damit umzugehen wissen. Was ein Nutzer ändern kann, den Prompt, verschwindet, sobald sich die Aufgabe ändert. Jiajun Fan, Ge Liu und Kollegen an UIUC, CMU, Rutgers, Princeton und Stanford stellten eine andere Frage: Kann ein Modell seine eigenen Gewichte umschreiben — die Milliarden von Zahlen, die es definieren —, allein durch Nachdenken, ganz ohne Training?
Ihre Antwort lautet, wie sie schreiben, ja, „unseres Wissens zum ersten Mal“. Sie nennen es Selbstumschreiben (self-rewriting).
Eine Sitzung über die eigenen Gewichte
Die Experimente nutzen eine einzige Familie offener Modelle, Qwen3.5, in vier Größen: 2, 4, 9 und 27 Milliarden Parameter. Jedes Modell erhält eine Sitzung über seine eigenen Gewichte. Es bekommt seine bewerteten Antworten auf Mathe-Übungsaufgaben und eine Python-Umgebung, in der es seine Gewichtsmatrizen lesen und überschreiben kann. Es kann sich außerdem eine begrenzte Anzahl von Malen selbst ausführen — 20 Vorwärtsdurchläufe —, um Aufgaben mit und ohne seine Änderung zu beantworten, mit denselben Zufalls-Seeds, oder um seine eigenen verborgenen Zustände (hidden states) auszulesen.
Was es nicht kann, ist trainieren. Die Umgebung verweigert jede Berechnung von Gradienten und jeden Optimierer, hat keine GPU und keinen Netzwerkzugang und blockiert Änderungen, die bloß eine ganze Matrix umskalieren würden. Jeden Wert, den das Modell ändert, schreibt sein eigenes Nachdenken. Die Ergebnisse werden anschließend an Aufgaben überprüft, die die Sitzungen nie gesehen haben.
Die defekte Matrix finden
In einem ersten Test gab das Team dem Modell mit 27 Milliarden Parametern eine beschädigte Kopie seiner selbst: acht Zeilen einer Matrix in Schicht 30 von 64, mit Rauschen überschrieben. Dem Modell wurde nur gesagt, dass einige Werte verfälscht worden waren. Die Kopie löste gar nichts.
Seine Sitzung liest sich wie eine Fehlersuche. Zuerst verdächtigte es die frühen Schichten — falsch, und seine eigenen Tests sagten es ihm. Dann verglich es das größte Gewicht in jeder Ausgabematrix mit dem typischen und fand den Schuldigen: „Die down_proj von Schicht 30 hat einen extremen Ausreißer von 1397x“. Seine Korrektur war behutsam: In dieser Matrix und 19 weiteren kappte es jedes Gewicht oberhalb des 15-Fachen des Medians seiner Matrix. Es stellte die ursprünglichen Werte nicht wieder her, die es nie gesehen hatte; es kappte die zufälligen. Bei 200 zurückgehaltenen Mathe-Aufgaben stieg die Kopie von 0 % auf 33 %. Noch bemerkenswerter: Die Reparatur, allein anhand von Text gefunden, wirkte auch bei Bildern. Über sechs Bild-Benchmarks, die es nie gesehen hatte, stieg die Kopie von 7,3 % auf 70,2 %, was 83 % der Genauigkeit des unbeschädigten Modells entspricht.
Sich selbst das Aufhören beibringen
Bei seinen eigenen, unbeschädigten Gewichten begann das 27B-Modell mit einer Diagnose: Den meisten seiner Antworten gingen die Tokens aus, doch fast alle, die zu Ende kamen, waren richtig. In seinen eigenen Worten: „Mein Denken ist stichhaltig, aber ich bin zu weitschweifig oder komme nicht effizient zu Schlussfolgerungen.“
Also verglich es seine verborgenen Zustände bei Antworten, die zu Ende kommen, und bei Antworten, die endlos weiterlaufen, fand die Richtung, die sie trennt, und entfernte einen kleinen Anteil davon aus einer Schicht. Seine Tests sprachen für die Änderung. In einem zweiten Protokoll prüfte das Framework außerdem jede Änderung einmal an reservierten Aufgaben, bevor das Modell entschied, sie einzureichen. In den ersten acht solchen Sitzungen, die alle berichtet werden, zog sich das Modell in fünf zurück und reichte in drei eine Änderung ein. Zwei davon machten es bei 490 neuen Aufgaben signifikant besser: +6,6 Punkte (von 57,2 % auf 63,8 %) und +4,0 Punkte. Der größere Gewinn kam von einer überraschend einfachen Änderung — dem leichten Verstellen einer Einstellung in jeder Schicht mit linearer Aufmerksamkeit (linear attention) —, nach der weniger Antworten die Tokens ausgingen. Bei einer Aufgabe wiederholte das ursprüngliche Modell einen einzigen Satz 549-mal, ohne zu antworten; nach der Änderung antwortete es richtig. Jede Sitzung hinter den größten Gewinnen lief in wenigen Stunden auf einer einzigen GPU.
Nur das größte Modell schafft es
Bei gleicher Aufgabe und gleichen Werkzeugen machte die Größe den ganzen Unterschied. Das Modell mit 2 Milliarden Parametern nahm keine Änderung vor: Der größte Teil seines Codes scheiterte. Die Modelle mit 4 und 9 Milliarden Parametern fügten ihren Gewichten zufälliges Rauschen hinzu und machten sich selbst kaputt; das 9-Milliarden-Modell reichte sogar eine Änderung ein, nach der es keine neuen Aufgaben mehr beantworten konnte. Nur das 27-Milliarden-Modell maß, bevor es handelte, und behielt, was seine Tests stützten. Für die Autoren ist das der erste Beleg innerhalb einer Modellfamilie dafür, dass die Fähigkeit, die eigenen Gewichte zu diagnostizieren und umzuschreiben, mit der Größe wächst.
Worauf die Aussagen beruhen
Die Ergebnisse stammen aus einer einzigen Modellfamilie und überwiegend aus Mathe-Aufgaben. Die Gewinne beheben hauptsächlich Antworten, die nie enden, und eine der drei eingereichten Änderungen brachte keinen signifikanten Gewinn. Die Reparatur stellt das meiste, nicht alles, von dem wieder her, was die Beschädigung entfernt hatte. Die Autoren sehen eine Zukunft, in der es zur Verbesserung eines Modells „ein Gespräch statt eines Trainingslaufs“ braucht, und möglicherweise einen Weg zu Modellen, die sich immer wieder selbst verbessern. Diesen Weg, betonen sie, sollte man mit Menschen im Kreislauf (in the loop) gehen: Jedes Modell, das ein Modell aus sich selbst macht, soll bewertet werden, auf Sicherheit wie auf die Aufgabe hin, und von einer Person bestätigt werden.
