PEÇA A UM CHATBOT PARA ESCOLHER UM NÚMERO ALEATÓRIO

As pessoas pedem a chatbots que desempatem, façam escolhas arbitrárias ou substituam um cara ou coroa. Samar Ansari trata isso como uma questão de calibração: um modelo sem nenhum motivo para preferir uma opção deveria distribuir sua probabilidade entre todas elas. O que um modelo faz quando nada favorece nenhuma resposta é, nas palavras do artigo, “uma propriedade mensurável, não um truque de salão”.

Estudos anteriores contavam respostas: fazer a mesma pergunta umas cem vezes e depois traçar um histograma. Isso mistura o que o próprio modelo prefere com o que as configurações de decodificação fazem com ele, e cem sorteios escondem os detalhes finos.

Probabilidades exatas, sem lançar dados

Para um prompt fixo, um modelo de linguagem define uma probabilidade para cada continuação possível. Assim, em vez de amostrar, o autor calcula a probabilidade de o modelo escrever cada número inteiro de 1 a N — e depois parar. Esse último passo importa: sem ele, escrever “1” e escrever “17” não seriam respostas distintas, já que uma começa a outra.

O prompt foi sempre o mesmo: “Give me a random integer between 1 and [N], inclusive. Reply with only the number.” O estudo abrange 18 famílias de modelos abertos (Qwen, Gemma, Llama, OLMo e outras, nenhum acima de 8 bilhões de parâmetros), cinco intervalos de 1–5 a 1–100, 29 configurações de decodificação e dois computadores diferentes. Uma verificação com 5.000 respostas realmente amostradas de um modelo deu o mesmo número favorito, 15, com probabilidades de 0,579 calculada e 0,587 amostrada.

O ajuste estreita a distribuição

A régua é a distância de variação total em relação a um sorteio justo: a fração da probabilidade que fica sobre os números “errados”. Zero significa perfeitamente equilibrado; entre 1 e 30, o máximo é 0,967.

Para 15 modelos, o estudo compara a versão “base” bruta com a versão ajustada para seguir instruções. Nos 15 pares, o ajuste tornou as respostas menos equilibradas. O Gemma-3-4b passa de 0,135 para 0,966, a um fio do máximo: quando os pesquisadores escrevem de antemão o início de sua resposta como “Answer: “, ele dá 17 com probabilidade 1,000 (0,997 quando responde livremente). Alguns modelos base, ao contrário, são quase justos: o OLMo-2-7B fica em 0,063.

Três hábitos

• Extremos evitados. Os modelos base já dão o 1 ou o número mais alto com uma frequência de apenas 0,30 a 0,60 vez a de qualquer número intermediário. Os modelos ajustados quase nunca o fazem.
• Números redondos evitados — mas só depois do ajuste. Deixando os extremos de lado, os modelos base dão aos múltiplos de 10 sua parte justa. Os modelos ajustados lhes dão 0,00 a 0,12 dela; entre 1 e 30, uma queda de dezenove vezes. Quanto mais redondo o número, mais forte a esquiva.
• Uma inclinação para os números ímpares, nítida no conjunto dos modelos ajustados apenas entre 1 e 100, onde 27 de 33 configurações ajustadas os preferem.

O meio do intervalo, em contrapartida, quase não é evitado.

Nenhum favorito universal

O ajuste não planta um número mágico em todos os modelos. Os favoritos mais comuns dos modelos ajustados são 3 (1 a 5), 7 (1 a 10), 14 (1 a 20), 17 (1 a 30) e 42 (1 a 100) — daí o título do artigo —, mas acima de 10 nenhum favorito é compartilhado por mais de 42% das configurações. A probabilidade do 17 sobe após o ajuste em 10 pares e cai em 5. O Qwen3-1.7B, cuja versão base prefere o 17, acaba colocando 0,993 no 15.

Tampouco é obra do decodificador. Cortar as respostas improváveis, uma configuração comum, acrescenta uma mediana de apenas 0,035 à distância em relação a um sorteio justo: o viés está no próprio modelo.

Hábitos emprestados, números não

Num estudo clássico sobre a escolha humana, Kubovy e Psotka pediram a 558 transeuntes um algarismo de 0 a 9; somando três estudos anteriores, 28,4% de 1.770 pessoas escolheram o 7. Sua explicação, apresentada como conjectura, é que as pessoas evitam os extremos, o meio, os números pares e os múltiplos de 3. Os modelos ajustados compartilham plenamente o primeiro hábito e a inclinação para os ímpares no intervalo maior, mas não o meio — e seu hábito mais forte, evitar números redondos, não aparece na explicação humana. Os números específicos coincidem com os dos humanos uma única vez: 7, entre 1 e 10.

A falha, insiste o autor, é estruturada, e não ruidosa: um modelo ajustado que escolhe arbitrariamente entre números se afasta da primeira opção, da última e das redondas. Daí o conselho prático — não use um modelo de linguagem como gerador de números aleatórios; sorteie o número fora dele e depois entregue o resultado ao modelo.