Informatik & KIPreprintSimulation4 Min. Lesezeit

WENN KI VON KI ABSCHREIBT, MUSS JEMAND WEITERLERNEN

Trainiert man ein generatives Modell mit der Ausgabe eines früheren Modells, verschlechtert es sich. Über aufeinanderfolgende Generationen verschwinden die seltensten Inhalte vor den häufigen, und was das Modell hervorbringt, wird immer enger. Dieser Modellkollaps (model collapse) ist inzwischen gut untersucht – ebenso wie seine Heilmittel. Alle Gegenmittel, die wirken, bringen etwas von außerhalb der Schleife hinein: frische menschliche Daten, aufbewahrte echte Daten, Prüfsysteme (verifiers), menschliche Kuratierung.

Nam Le, Informatiker an der University of Vermont, weist darauf hin, was diese Analysen als selbstverständlich voraussetzen. Sie behandeln frische Daten als festes Archiv, das in jeder benötigten Menge verfügbar ist, und sie nehmen an, dass die beschriebene Welt stillsteht. Beides stimmt nicht: Frische Texte werden von Menschen geschrieben, die immer öfter die Modelle fragen, statt selbst Dinge herauszufinden; und die Welt verändert sich ständig.

Ein altes Paradox

Beide Probleme stehen im Zentrum einer älteren Theorie. 1988 beschrieb Rogers, was heute Rogers-Paradox heißt: In einer Population, in der sich das Kopieren ausbreitet, weil es individuell billiger ist als Lernen, steht am Ende niemand besser da als in einer Population, die nie kopiert hat. Kopien veralten, und jemand muss weiter dafür bezahlen, zu lernen.

Spätere Arbeiten zur kulturellen Evolution verfeinerten die Idee. Wer kritisch lernt, kopiert, prüft die Kopie an der Welt und lernt selbst, wenn sie versagt; solche Lernenden erhöhen den Nutzen aller. Wer konformistisch lernt, kopiert, was verbreitet ist – das ist billig, lässt aber seltene Varianten nach und nach verschwinden.

Le argumentiert, dass es soziales Lernen in genau diesem Sinn ist, ein Modell mit der Ausgabe eines anderen Modells zu trainieren, und dass die Theorie deshalb gelten sollte. In ihrer einfachsten Form liefert sie eine einzeilige Regel dafür, wie viel Wissen eine Modelllinie behält, wenn ein Teil ihrer Trainingsdaten frisch ist.

Darwin und Moby-Dick, immer wieder kopiert

Um sie zu prüfen, trainierte Le Linien kleiner Sprachmodelle mit zwei Büchern aus dem Project Gutenberg, Darwins On the Origin of Species und Melvilles Moby-Dick. Jede Generation lernte aus Text, den die vorherige erzeugt hatte, gemischt mit etwas frischem Text aus dem Buch.

Nur mit ihrer eigenen Ausgabe gefüttert, verloren Modelle auf Wortebene in zwölf Generationen vier von fünf seltenen Wörtern. Eine Probe aus der Startgeneration lautet noch „i cannot see that a genus become fitted for most justly celebrated elder huber“; in der zwölften „struggle of the on that may inheritable detected i hybrids, kept.“

Das Bemerkenswerte ist die Vorhersage. Le passte den einzigen Parameter der Regel – die Wahrscheinlichkeit, dass ein kopiertes Stück Wissen in jeder Generation verloren geht – allein an der vollständig selbstgefütterten Linie an und nutzte ihn dann unverändert, um Linien mit 10 %, 30 % oder 50 % frischen Daten vorherzusagen. Die Regel traf, wie viele seltene Wörter sie behielten, bis auf 3 Prozentpunkte genau. Mit einer zweiten Wissensklasse – fragiles gegenüber dauerhaftem Wissen – hielt die Regel auch für einen kleinen Transformer und für ein vortrainiertes Sprachmodell, OPT-125m.

Wenn sich die Welt bewegt

Als Nächstes wurde die „Welt“ selbst veränderlich gemacht: ein Fenster, das durch die beiden Bücher gleitet, sodass ständig neues Vokabular hinzukam und alte Wörter verschwanden. Je schneller es sich bewegte, desto mehr frische Daten brauchte eine sich selbst kopierende Linie. Um 80 % dessen zu behalten, was ein vollständig frischer Korpus abdecken würde, musste der frische Anteil von etwa 30 % auf etwa 45 % steigen. Bereiche, die sich schnell verändern, werden laut der Arbeit als erste verfallen, wenn sich synthetischer Text ansammelt.

Das vortrainierte Modell verhielt sich anders: Sein Wissen hielt stand, ob sich die Welt bewegte oder nicht. Le deutet das so, dass seine vortrainierten Gewichte, die in jeder Generation unverändert vererbt werden, Wissen sind, das nie durch die Kopierkette läuft. Mit einer Einschränkung: Der bewegte Text war hier Text, den das Modell beim Vortraining schon gesehen hatte.

Menschen in der Schleife

Dann kommt der Teil, der der Arbeit ihren Titel gibt. Le baute ein Modell, in dem Menschen eine Tatsache entweder selbst herausfinden können, zu einem gewissen Preis, oder kostenlos die KI fragen und dann nur so oft richtig liegen wie die KI. Was die Menschen schreiben, wird zu den Trainingsdaten des nächsten Modells, zusammen mit etwas Text, den das Modell selbst schreibt.

Das Gleichgewicht ist ernüchternd:

  • die KI liegt am Ende gerade so oft richtig, dass es sich genau so lohnt, sie zu fragen, wie es selbst herauszufinden, sobald die Kosten des Herausfindens eingerechnet sind – unabhängig von ihrer Größe oder Architektur;
  • die Menschen insgesamt stehen nicht besser da als ohne die KI: das Rogers-Paradox, für Menschen und Maschinen zusammen;
  • je mehr vom Trainingstext die Modelle selbst schreiben, desto mehr Menschen müssen weiter selbst lernen – doppelt so viele, wenn die Hälfte des Textes von Modellen stammt. Frische Daten, folgert Le, werden mit menschlicher Mühe bezahlt.

Es gibt einen Ausweg. Wenn Menschen die Antwort der KI an der Welt überprüfen und neu lernen, wenn sie falsch ist, bricht das Paradox auf: In der Simulation pendelt sich der durchschnittliche Nutzen bei 0,93 ein, gegenüber 0,70 ohne die KI. Werkzeuge, die das Überprüfen billig machen, sind aus dieser Sicht keine Bequemlichkeit, sondern das, was das ganze System vor dem Kollaps bewahrt.

Filter, die es schlimmer machen

Dieselbe Sichtweise ordnet auch die Filter ein, mit denen synthetische Daten bereinigt werden. Die Stichproben zu behalten, die ein Modell für am plausibelsten hält, ist konformistisches Kopieren, und in den Experimenten beschleunigte es den Verlust seltener Wörter: Das vortrainierte Modell behielt 5 % davon, gegenüber 57 %, wenn die Hälfte der Stichproben zufällig behalten wurde. Nur Filter, die Text an der Welt prüfen, wirken wie kritisch Lernende. All das wurde mit kleinen Modellen gezeigt, das größte mit 125 Millionen Parametern, und Le nennt die Prüfung im großen Maßstab als die zentrale offene Frage.