BITTE EINEN CHATBOT UM EINE ZUFALLSZAHL

Menschen bitten Chatbots, einen Gleichstand aufzulösen, willkürliche Entscheidungen zu treffen oder einen Münzwurf zu ersetzen. Samar Ansari behandelt das als Frage der Kalibrierung: Ein Modell, das keinen Grund hat, eine Option zu bevorzugen, sollte seine Wahrscheinlichkeit auf alle verteilen. Was ein Modell tut, wenn nichts eine Antwort begünstigt, ist in den Worten der Arbeit „eine messbare Eigenschaft, kein Partytrick“.

Frühere Studien zählten Antworten: Man stellt dieselbe Frage rund hundertmal und zeichnet dann ein Histogramm. Das vermengt, was das Modell selbst bevorzugt, mit dem, was die Dekodierungseinstellungen daraus machen, und hundert Ziehungen verbergen die Feinheiten.

Exakte Wahrscheinlichkeiten, ohne zu würfeln

Für einen festen Prompt legt ein Sprachmodell für jede mögliche Fortsetzung eine Wahrscheinlichkeit fest. Statt Stichproben zu ziehen, berechnet der Autor daher die Wahrscheinlichkeit, dass das Modell jede ganze Zahl von 1 bis N schreibt – und dann aufhört. Dieser letzte Schritt ist wichtig: Ohne ihn wären „1“ und „17“ keine getrennten Antworten, da die eine den Anfang der anderen bildet.

Der Prompt war immer derselbe: „Give me a random integer between 1 and [N], inclusive. Reply with only the number.“ Die Studie umfasst 18 Familien offener Modelle (Qwen, Gemma, Llama, OLMo und andere, keines über 8 Milliarden Parameter), fünf Zahlenbereiche von 1–5 bis 1–100, 29 Dekodierungseinstellungen und zwei verschiedene Computer. Eine Kontrolle anhand von 5.000 tatsächlich gezogenen Antworten eines Modells ergab dieselbe Lieblingszahl, 15, mit Wahrscheinlichkeiten von 0,579 (berechnet) und 0,587 (gezogen).

Die Feinabstimmung engt die Verteilung ein

Der Maßstab ist der Totalvariationsabstand zu einer fairen Ziehung: der Anteil der Wahrscheinlichkeit, der auf den „falschen“ Zahlen liegt. Null bedeutet vollkommen gleichmäßig; zwischen 1 und 30 liegt das Maximum bei 0,967.

Für 15 Modelle vergleicht die Studie die rohe „Basis“-Version mit der Version, die darauf feinabgestimmt wurde, Anweisungen zu befolgen. In allen 15 Paaren machte die Feinabstimmung die Antworten ungleichmäßiger. Gemma-3-4b steigt von 0,135 auf 0,966, haarscharf unter dem Maximum: Wenn die Forschenden den Anfang seiner Antwort als „Answer: “ vorgeben, gibt es mit Wahrscheinlichkeit 1,000 die 17 an (0,997, wenn es frei antwortet). Manche Basismodelle sind dagegen fast fair: OLMo-2-7B liegt bei 0,063.

Drei Gewohnheiten

Ränder gemieden. Basismodelle nennen die 1 oder die höchste Zahl schon nur 0,30- bis 0,60-mal so oft wie eine beliebige Zahl dazwischen. Feinabgestimmte Modelle tun es fast nie.
Runde Zahlen gemieden – aber erst nach der Feinabstimmung. Lässt man die Ränder beiseite, geben Basismodelle Vielfachen von 10 ihren fairen Anteil. Feinabgestimmte Modelle geben ihnen 0,00 bis 0,12 davon; zwischen 1 und 30 ein Rückgang um das Neunzehnfache. Je runder die Zahl, desto stärker wird sie gemieden.
Eine Neigung zu ungeraden Zahlen, deutlich bei feinabgestimmten Modellen nur zwischen 1 und 100, wo 27 von 33 feinabgestimmten Konfigurationen sie bevorzugen.

Die Mitte des Bereichs wird dagegen kaum gemieden.

Keine universelle Lieblingszahl

Die Feinabstimmung pflanzt nicht jedem Modell dieselbe magische Zahl ein. Die häufigsten Lieblingszahlen feinabgestimmter Modelle sind 3 (1 bis 5), 7 (1 bis 10), 14 (1 bis 20), 17 (1 bis 30) und 42 (1 bis 100) – daher der Titel der Arbeit –, doch oberhalb von 10 teilen nie mehr als 42 % der Konfigurationen dieselbe Lieblingszahl. Die Wahrscheinlichkeit der 17 steigt nach der Feinabstimmung in 10 Paaren und sinkt in 5. Qwen3-1.7B, dessen Basisversion die 17 bevorzugt, legt am Ende 0,993 auf die 15.

Auch der Decoder ist nicht schuld. Unwahrscheinliche Antworten abzuschneiden, eine gängige Einstellung, erhöht den Abstand zu einer fairen Ziehung im Median nur um 0,035: Die Verzerrung steckt im Modell selbst.

Gewohnheiten übernommen, Zahlen nicht

In einer klassischen Studie über menschliche Wahlentscheidungen fragten Kubovy und Psotka 558 Passanten nach einer Ziffer von 0 bis 9; zusammen mit drei früheren Studien wählten 28,4 % von 1.770 Menschen die 7. Ihre als Vermutung vorgebrachte Erklärung: Menschen meiden die Ränder, die Mitte, gerade Zahlen und Vielfache von 3. Feinabgestimmte Modelle teilen die erste Gewohnheit vollständig und die Neigung zu ungeraden Zahlen beim größten Bereich, nicht aber die Mitte – und ihre stärkste Gewohnheit, das Meiden runder Zahlen, kommt in der Erklärung für Menschen nicht vor. Die konkreten Zahlen stimmen nur einmal mit denen von Menschen überein: 7, zwischen 1 und 10.

Das Versagen, betont der Autor, ist strukturiert und kein zufälliges Rauschen: Ein feinabgestimmtes Modell, das willkürlich zwischen Zahlen wählt, steuert weg von der ersten Option, der letzten und den runden. Daraus folgt der praktische Rat: Ein Sprachmodell nicht als Zufallszahlengenerator verwenden; die Zahl außerhalb davon ziehen und das Ergebnis dann dem Modell übergeben.