MINTALAH CHATBOT MEMILIH ANGKA ACAK — The Knowledge Frontier

Orang meminta chatbot untuk memecah hasil seri, membuat pilihan sembarang, atau menggantikan lemparan koin. Samar Ansari memperlakukan hal ini sebagai soal kalibrasi: model yang tidak punya alasan untuk lebih menyukai satu pilihan semestinya menyebarkan probabilitasnya ke semua pilihan. Apa yang dilakukan sebuah model ketika tidak ada yang mengunggulkan jawaban mana pun, menurut kata-kata makalah itu, adalah “sifat yang dapat diukur, bukan trik sulap”.

Studi-studi sebelumnya menghitung jawaban: ajukan pertanyaan yang sama sekitar seratus kali, lalu gambar histogramnya. Cara itu mencampuradukkan apa yang disukai model itu sendiri dengan apa yang dilakukan pengaturan dekode (decoding) terhadapnya, dan seratus tarikan menyembunyikan detail halusnya.

Peluang pasti, tanpa melempar dadu

Untuk satu prompt yang tetap, model bahasa menetapkan satu probabilitas untuk setiap kemungkinan lanjutan teks. Jadi, alih-alih mengambil sampel, penulis menghitung probabilitas bahwa model menuliskan setiap bilangan bulat dari 1 hingga N — lalu berhenti. Langkah terakhir itu penting: tanpanya, menulis “1” dan menulis “17” tidak akan menjadi jawaban yang terpisah, karena yang satu adalah awal dari yang lain.

Prompt-nya selalu sama: “Give me a random integer between 1 and [N], inclusive. Reply with only the number.” Studi ini mencakup 18 keluarga model terbuka (Qwen, Gemma, Llama, OLMo, dan lainnya, tidak ada yang melebihi 8 miliar parameter), lima rentang dari 1–5 hingga 1–100, 29 pengaturan dekode, dan dua komputer yang berbeda. Pemeriksaan terhadap 5.000 jawaban sampel sungguhan dari satu model menghasilkan angka favorit yang sama, 15, dengan probabilitas 0,579 hasil perhitungan dan 0,587 hasil sampel.

Penyetelan memampatkan sebaran

Tolok ukurnya adalah jarak variasi total (total variation distance) dari undian yang adil: bagian probabilitas yang jatuh pada angka-angka yang “salah”. Nol berarti merata sempurna; antara 1 dan 30, nilai maksimumnya 0,967.

Untuk 15 model, studi ini membandingkan versi “dasar” (base) yang mentah dengan versi yang disetel halus untuk mengikuti instruksi. Pada ke-15 pasangan, penyetelan membuat jawaban kurang merata. Gemma-3-4b naik dari 0,135 menjadi 0,966, setipis rambut dari maksimum: ketika para peneliti menuliskan lebih dulu awal balasannya sebagai “Answer: “, model itu memberikan 17 dengan probabilitas 1,000 (0,997 bila menjawab secara bebas). Sebaliknya, beberapa model dasar nyaris adil: OLMo-2-7B berada di 0,063.

Tiga kebiasaan

Ujung dihindari. Model dasar sudah memberikan 1 atau angka tertinggi hanya 0,30 hingga 0,60 kali sesering angka mana pun di antaranya. Model yang disetel nyaris tidak pernah melakukannya.
Angka bulat dihindari — tetapi hanya setelah penyetelan. Di luar kedua ujung, model dasar memberi kelipatan 10 bagian yang adil. Model yang disetel hanya memberinya 0,00 hingga 0,12 dari bagian itu; antara 1 dan 30, penurunannya sembilan belas kali lipat. Makin bulat angkanya, makin kuat penghindarannya.
Kecenderungan ke angka ganjil, yang jelas pada model-model yang disetel hanya untuk rentang 1 hingga 100, tempat 27 dari 33 konfigurasi yang disetel lebih menyukainya.

Sebaliknya, bagian tengah rentang nyaris tidak dihindari sama sekali.

Tidak ada favorit universal

Penyetelan tidak menanamkan satu angka ajaib di setiap model. Favorit paling umum model yang disetel adalah 3 (1 hingga 5), 7 (1 hingga 10), 14 (1 hingga 20), 17 (1 hingga 30), dan 42 (1 hingga 100) — dari situlah judul makalahnya — tetapi di atas 10, tidak ada favorit yang dimiliki bersama oleh lebih dari 42% konfigurasi. Probabilitas 17 naik setelah penyetelan pada 10 pasangan dan turun pada 5. Qwen3-1.7B, yang versi dasarnya lebih menyukai 17, akhirnya menaruh 0,993 pada 15.

Ini juga bukan ulah dekoder. Memangkas jawaban yang kecil kemungkinannya, pengaturan yang umum, hanya menambah median 0,035 pada jarak dari undian yang adil: biasnya ada di dalam model itu sendiri.

Kebiasaannya dipinjam, angkanya tidak

Dalam studi klasik tentang pilihan manusia, Kubovy dan Psotka meminta 558 orang yang lewat menyebut satu digit dari 0 hingga 9; digabung dengan tiga studi sebelumnya, 28,4% dari 1.770 orang memilih 7. Penjelasan mereka, yang diajukan sebagai dugaan, adalah bahwa orang menghindari kedua ujung, bagian tengah, angka genap, dan kelipatan 3. Model yang disetel sepenuhnya berbagi kebiasaan pertama dan, pada rentang terbesar, kecenderungan ke angka ganjil, tetapi tidak menghindari bagian tengah — dan kebiasaan terkuat mereka, menghindari angka bulat, tidak ada dalam penjelasan tentang manusia itu. Angka-angka spesifiknya hanya sekali cocok dengan manusia: 7, antara 1 dan 10.

Kegagalan ini, tegas penulisnya, bersifat terstruktur, bukan sekadar derau: model yang disetel, ketika memilih sembarang di antara angka-angka, menjauh dari pilihan pertama, pilihan terakhir, dan angka-angka bulat. Saran praktisnya pun mengikuti — jangan gunakan model bahasa sebagai pembangkit bilangan acak; undi angkanya di luar model, lalu serahkan hasilnya kepada model.