BİR SOHBET ROBOTUNDAN RASTGELE BİR SAYI SEÇMESİNİ İSTEYİN

İnsanlar sohbet robotlarından eşitliği bozmalarını, keyfî seçimler yapmalarını ya da yazı tura atmanın yerini tutmalarını istiyor. Samar Ansari bunu bir kalibrasyon sorusu olarak ele alıyor: herhangi bir seçeneği tercih etmesi için hiçbir nedeni olmayan bir model, olasılığını hepsine yaymalıdır. Hiçbir şeyin herhangi bir yanıtı kayırmadığı durumda bir modelin ne yaptığı, makalenin sözleriyle, “bir salon numarası değil, ölçülebilir bir özellik”.

Önceki çalışmalar yanıtları sayıyordu: aynı soruyu yüz kadar kez sor, ardından bir histogram çiz. Bu, modelin kendisinin neyi tercih ettiğiyle kod çözme (decoding) ayarlarının ona ne yaptığını birbirine karıştırıyor ve yüz çekiliş ince ayrıntıyı gizliyor.

Kesin olasılıklar, hiç zar atılmadan

Sabit bir istem (prompt) için bir dil modeli, olası her devam için tek bir olasılık tanımlar. Bu yüzden yazar örnekleme yapmak yerine, modelin 1’den N’ye kadar her tam sayıyı yazması — ve ardından durması — olasılığını hesaplıyor. Bu son adım önemli: onsuz “1” yazmak ile “17” yazmak ayrı yanıtlar olmazdı, çünkü biri diğerinin başlangıcı.

İstem hep aynıydı: “Give me a random integer between 1 and [N], inclusive. Reply with only the number.” (“Bana 1 ile [N] arasında, uçlar dahil, rastgele bir tam sayı ver. Yalnızca sayıyla yanıt ver.”) Çalışma 18 açık model ailesini (Qwen, Gemma, Llama, OLMo ve diğerleri; hiçbiri 8 milyar parametrenin üzerinde değil), 1–5’ten 1–100’e beş aralığı, 29 kod çözme ayarını ve iki farklı bilgisayarı kapsıyor. Tek bir modelden alınmış 5.000 gerçek örneklenmiş yanıtla yapılan bir kontrol aynı gözde sayıyı, 15’i verdi; olasılık hesaplamada 0,579, örneklemede 0,587.

İnce ayar dağılımı daraltıyor

Ölçüt, adil bir çekilişten toplam varyasyon uzaklığı (total variation distance): olasılığın “yanlış” sayılarda duran payı. Sıfır, kusursuz biçimde dengeli demek; 1 ile 30 arasında en büyük değer 0,967.

Çalışma 15 model için ham “temel” (base) sürümü, talimatları izlemek üzere ince ayar yapılmış sürümle karşılaştırıyor. 15 çiftin hepsinde ince ayar yanıtları daha az dengeli kıldı. Gemma-3-4b 0,135’ten 0,966’ya çıkıyor, en büyük değere kıl payı: araştırmacılar yanıtının başını önceden “Answer: ” olarak yazdığında 1,000 olasılıkla 17 veriyor (serbestçe yanıt verdiğinde 0,997). Buna karşılık bazı temel modeller neredeyse adil: OLMo-2-7B 0,063’te duruyor.

Üç alışkanlık

Uçlardan kaçınılıyor. Temel modeller bile 1’i ya da en üst sayıyı, aradaki herhangi bir sayıya göre yalnızca 0,30 ila 0,60 kat sıklıkla veriyor. İnce ayarlı modeller neredeyse hiç vermiyor.
Yuvarlak sayılardan kaçınılıyor — ama yalnızca ince ayardan sonra. Uçlar bir yana bırakıldığında, temel modeller 10’un katlarına hak ettikleri payı veriyor. İnce ayarlı modeller bu payın 0,00 ila 0,12’sini veriyor; 1 ile 30 arasında bu, on dokuz katlık bir düşüş. Sayı ne kadar yuvarlaksa kaçınma o kadar güçlü.
Tek sayılara bir yönelim; ince ayarlı modellerde yalnızca 1 ile 100 arasında belirgin: orada 33 ince ayarlı düzenekten 27’si tek sayıları tercih ediyor.

Buna karşılık aralığın ortasından neredeyse hiç kaçınılmıyor.

Evrensel bir gözde yok

İnce ayar her modele tek bir sihirli sayı yerleştirmiyor. İnce ayarlı modellerin en yaygın gözdeleri 3 (1–5), 7 (1–10), 14 (1–20), 17 (1–30) ve 42 (1–100) — makalenin başlığı buradan geliyor — ama 10’un üzerinde hiçbir gözde düzeneklerin %42’sinden fazlasında ortak değil. 17’nin olasılığı ince ayardan sonra 10 çiftte artıyor, 5 çiftte azalıyor. Temel sürümü 17’yi tercih eden Qwen3-1.7B, sonunda 15’e 0,993 olasılık veriyor.

Kod çözücünün işi de değil. Olası olmayan yanıtları kesip atmak — yaygın bir ayar — adil çekilişten uzaklığa medyan olarak yalnızca 0,035 ekliyor: yanlılık modelin kendisinde yaşıyor.

Alışkanlıklar ödünç, sayılar değil

İnsan seçimi üzerine klasik bir çalışmada Kubovy ve Psotka, yoldan geçen 558 kişiden 0 ile 9 arasında bir rakam istedi; daha önceki üç çalışmayla birleştirildiğinde 1.770 kişinin %28,4’ü 7’yi seçmişti. Bir varsayım olarak sundukları açıklamaya göre insanlar uçlardan, ortadan, çift sayılardan ve 3’ün katlarından kaçınıyor. İnce ayarlı modeller ilk alışkanlığı tamamen, tek sayılara yönelimi de en geniş aralıkta paylaşıyor, ama ortadan kaçınmayı paylaşmıyor — ve en güçlü alışkanlıkları olan yuvarlak sayılardan kaçınma, insanlara dair bu açıklamada yer almıyor. Belirli sayılar insanlarınkiyle yalnızca bir kez örtüşüyor: 1 ile 10 arasında 7.

Yazarın vurguladığı gibi başarısızlık gürültülü değil, yapılı: sayılar arasında keyfî seçim yapan ince ayarlı bir model ilk seçenekten, sonuncusundan ve yuvarlak olanlardan uzak duruyor. Pratik öneri de buradan çıkıyor: bir dil modelini rastgele sayı üreteci olarak kullanmayın; sayıyı modelin dışında çekin, ardından sonucu modele verin.