DEMANDEZ UN NOMBRE AU HASARD À UN CHATBOT

On demande à des chatbots de départager, de faire des choix arbitraires ou de remplacer une pièce qu’on lance. Samar Ansari y voit une question de calibration : un modèle qui n’a aucune raison de préférer une option devrait répartir sa probabilité entre toutes. Ce que fait un modèle quand rien ne favorise aucune réponse est, selon les termes de l’article, « une propriété mesurable, pas un tour de salon ».

Les études précédentes comptaient les réponses : poser la même question une centaine de fois, puis tracer un histogramme. Cela mélange ce que le modèle préfère lui-même et ce qu’y font les réglages de décodage (les boutons, comme la « température », qui décident comment une réponse est tirée parmi les probabilités du modèle), et cent tirages cachent les détails fins.

Des probabilités exactes, sans lancer de dé

Pour une consigne donnée, un modèle de langage définit une probabilité pour chaque suite possible. Au lieu d’échantillonner, l’auteur calcule donc la probabilité que le modèle écrive chaque nombre entier de 1 à N — puis s’arrête. Ce dernier point compte : sans lui, écrire « 1 » et écrire « 17 » ne seraient pas deux réponses distinctes, puisque l’une commence l’autre.

La consigne était toujours la même : « Give me a random integer between 1 and [N], inclusive. Reply with only the number. » L’étude couvre 18 familles de modèles ouverts (Qwen, Gemma, Llama, OLMo et d’autres, aucun au-delà de 8 milliards de paramètres), cinq intervalles de 1–5 à 1–100, 29 réglages de décodage et deux ordinateurs différents. Une vérification sur 5 000 vraies réponses tirées d’un modèle a donné le même nombre favori, 15, avec une probabilité de 0,579 calculée et 0,587 observée.

Le réglage resserre l’éventail

L’étalon est la distance de variation totale à un tirage équitable : la part de probabilité qu’il faudrait déplacer des nombres trop favorisés vers les nombres délaissés pour rendre le tirage équitable. Zéro signifie parfaitement équilibré ; entre 1 et 30, le maximum, atteint quand toute la probabilité est sur un seul nombre, vaut 0,967.

Pour 15 modèles, l’étude compare la version brute, dite « de base », et la version réglée pour suivre des instructions. Dans les 15 paires, le réglage a rendu les réponses moins équilibrées. Gemma-3-4b passe de 0,135 à 0,966, un cheveu du maximum : quand les chercheurs pré-écrivent le début de sa réponse, « Answer: », il donne 17 avec une probabilité de 1,000 (0,997 quand il répond librement). Certains modèles de base, à l’inverse, sont presque équitables : OLMo-2-7B est à 0,063.

Trois habitudes

Les extrémités évitées. Les modèles de base donnent déjà 1 ou le nombre maximal seulement 0,30 à 0,60 fois aussi souvent qu’un nombre situé entre les deux. Les modèles réglés ne le font presque jamais.
Les nombres ronds évités — mais seulement après réglage. Extrémités mises à part, les modèles de base donnent aux multiples de 10 leur juste part. Les modèles réglés leur en laissent 0,00 à 0,12 ; entre 1 et 30, une chute d’un facteur dix-neuf. Plus un nombre est rond, plus il est évité.
Un penchant pour les impairs, net pour l’ensemble des modèles réglés seulement entre 1 et 100, où 27 configurations réglées sur 33 les préfèrent.

Le milieu de l’intervalle, en revanche, n’est presque pas évité.

Pas de favori universel

Le réglage ne plante pas un même nombre magique dans tous les modèles. Les favoris les plus fréquents des modèles réglés sont 3 (de 1 à 5), 7 (de 1 à 10), 14 (de 1 à 20), 17 (de 1 à 30) et 42 (de 1 à 100) — d’où le titre de l’article — mais au-delà de 10, aucun favori n’est partagé par plus de 42 % des configurations. La probabilité de 17 monte après réglage dans 10 paires et baisse dans 5. Qwen3-1.7B, dont la version de base préfère 17, finit par mettre 0,993 sur 15.

Et ce n’est pas l’œuvre du décodeur. Écarter les réponses improbables, un réglage courant, n’ajoute qu’une médiane de 0,035 à la distance au tirage équitable : le biais est dans le modèle lui-même.

Des habitudes empruntées, pas les nombres

Dans une étude classique du choix humain, Kubovy et Psotka ont demandé un chiffre de 0 à 9 à 558 passants ; en y ajoutant trois études plus anciennes, 28,4 % de 1 770 personnes ont choisi 7. Leur explication, avancée comme une conjecture, veut qu’on évite les extrémités, le milieu, les nombres pairs et les multiples de 3. Les modèles réglés partagent pleinement la première habitude et le penchant impair au plus grand intervalle, mais pas le milieu — et leur habitude la plus forte, éviter les nombres ronds, ne figure pas dans l’explication humaine. Les nombres précis ne coïncident avec ceux des humains qu’une fois : 7, entre 1 et 10.

L’échec, insiste l’auteur, est structuré plutôt que bruité : un modèle réglé qui choisit arbitrairement parmi des nombres s’écarte de la première option, de la dernière et des valeurs rondes. Le conseil pratique en découle — ne pas utiliser un modèle de langage comme générateur de nombres aléatoires ; tirer le nombre hors du modèle, puis lui transmettre le résultat.