PÍDELE A UN CHATBOT QUE ELIJA UN NÚMERO AL AZAR

La gente pide a los chatbots que deshagan empates, que tomen decisiones arbitrarias o que hagan las veces de una moneda lanzada al aire. Samar Ansari lo aborda como una cuestión de calibración: un modelo que no tiene ninguna razón para preferir una opción debería repartir su probabilidad entre todas ellas. Lo que hace un modelo cuando nada favorece ninguna respuesta es, en palabras del artículo, «una propiedad medible, no un truco de salón».

Los estudios anteriores contaban respuestas: se hace la misma pregunta unas cien veces y luego se dibuja un histograma. Eso mezcla lo que el propio modelo prefiere con lo que le hacen los ajustes de decodificación, y cien extracciones ocultan los detalles finos.

Probabilidades exactas, sin tirar ningún dado

Para una petición (prompt) fija, un modelo de lenguaje define una probabilidad para cada continuación posible. Así que, en lugar de muestrear, el autor calcula la probabilidad de que el modelo escriba cada número entero de 1 a N, y que después se detenga. Ese último paso importa: sin él, escribir «1» y escribir «17» no serían respuestas distintas, puesto que la primera es el comienzo de la segunda.

La petición fue siempre la misma: «Dame un número entero al azar entre 1 y [N], ambos incluidos. Responde solo con el número.» El estudio abarca 18 familias de modelos abiertos (Qwen, Gemma, Llama, OLMo y otras, ninguno de más de 8.000 millones de parámetros), cinco intervalos desde 1–5 hasta 1–100, 29 configuraciones de decodificación y dos ordenadores distintos. Una comprobación con 5.000 respuestas reales muestreadas de un modelo dio el mismo número favorito, el 15, con probabilidades de 0,579 calculada y 0,587 muestreada.

El ajuste estrecha el reparto

La vara de medir es la distancia de variación total respecto a un sorteo justo: la parte de la probabilidad que recae en los números «equivocados». Cero significa perfectamente uniforme; entre 1 y 30, el máximo es 0,967.

En 15 modelos, el estudio compara la versión «base» en bruto con la versión afinada para seguir instrucciones. En las 15 parejas, el ajuste hizo las respuestas menos uniformes. Gemma-3-4b pasa de 0,135 a 0,966, a un pelo del máximo: cuando los investigadores escriben de antemano el comienzo de su respuesta como «Answer: », da 17 con probabilidad 1,000 (0,997 cuando responde libremente). Algunos modelos base, en cambio, son casi justos: OLMo-2-7B se queda en 0,063.

Tres hábitos

Extremos evitados. Los modelos base ya dan el 1 o el número más alto solo entre 0,30 y 0,60 veces tan a menudo como cualquier número intermedio. Los modelos ajustados casi nunca lo hacen.
Números redondos evitados, pero solo tras el ajuste. Dejando aparte los extremos, los modelos base dan a los múltiplos de 10 la parte que les corresponde. Los modelos ajustados les dan de 0,00 a 0,12 de esa parte; entre 1 y 30, una caída de diecinueve veces. Cuanto más redondo es el número, más fuerte es el rechazo.
Una inclinación por los impares, clara en los modelos ajustados solo entre 1 y 100, donde 27 de 33 configuraciones ajustadas los prefieren.

El centro del intervalo, en cambio, apenas se evita.

Ningún favorito universal

El ajuste no planta un número mágico en todos los modelos. Los favoritos más comunes de los modelos ajustados son el 3 (de 1 a 5), el 7 (de 1 a 10), el 14 (de 1 a 20), el 17 (de 1 a 30) y el 42 (de 1 a 100), de ahí el título del artículo, pero por encima de 10 ningún favorito lo comparte más del 42 % de las configuraciones. La probabilidad del 17 sube tras el ajuste en 10 parejas y baja en 5. Qwen3-1.7B, cuya versión base prefiere el 17, acaba asignando 0,993 al 15.

Tampoco es cosa del decodificador. Recortar las respuestas poco probables, una configuración habitual, añade una mediana de apenas 0,035 a la distancia respecto a un sorteo justo: el sesgo reside en el propio modelo.

Hábitos prestados, números no

En un estudio clásico sobre la elección humana, Kubovy y Psotka pidieron a 558 transeúntes un dígito del 0 al 9; sumando tres estudios anteriores, el 28,4 % de 1.770 personas eligió el 7. Su explicación, presentada como conjetura, es que la gente evita los extremos, el centro, los números pares y los múltiplos de 3. Los modelos ajustados comparten plenamente el primer hábito y, en el intervalo más amplio, la inclinación por los impares, pero no el rechazo del centro; y su hábito más fuerte, evitar los números redondos, no figura en la explicación humana. Los números concretos coinciden con los de los humanos una sola vez: el 7, entre 1 y 10.

El fallo, subraya el autor, es estructurado, no fruto del ruido: un modelo ajustado que elige arbitrariamente entre números se aparta de la primera opción, de la última y de las redondas. De ahí el consejo práctico: no usar un modelo de lenguaje como generador de números aleatorios; sacar el número fuera de él y después pasarle el resultado al modelo.