ఒక చాట్‌బాట్‌ను యాదృచ్ఛిక సంఖ్య ఎంచుకోమని అడగండి

సమాన స్థితిని తేల్చడానికి, ఏకపక్ష ఎంపికలు చేయడానికి లేదా నాణెం ఎగరేయడానికి బదులుగా ప్రజలు చాట్‌బాట్‌లను అడుగుతారు. సమర్ అన్సారీ దీన్ని క్రమాంకనం (calibration) సమస్యగా చూస్తారు: ఏ ఎంపికకూ ప్రాధాన్యం ఇవ్వడానికి కారణం లేని మోడల్ తన సంభావ్యతను అన్నింటి మీదా పంచాలి. ఏ జవాబుకూ మొగ్గు లేనప్పుడు ఒక మోడల్ ఏం చేస్తుందనేది, పత్రం మాటల్లో, “కొలవగలిగే ఒక లక్షణం, గారడీ కాదు”.

గత అధ్యయనాలు జవాబులను లెక్కించాయి: ఒకే ప్రశ్నను సుమారు వంద సార్లు అడిగి, తర్వాత ఒక హిస్టోగ్రామ్ గీయడం. అది మోడల్ తనకు తానుగా దేన్ని ఇష్టపడుతుందో, డీకోడింగ్ అమరికలు దానికి ఏం చేస్తాయో — ఈ రెండింటినీ కలగలిపేస్తుంది; పైగా వంద ప్రయత్నాలు సూక్ష్మ వివరాలను దాచేస్తాయి.

కచ్చితమైన అవకాశాలు, పాచికలు దొర్లించకుండానే

ఒక స్థిరమైన ప్రాంప్ట్‌కు, భాషా మోడల్ సాధ్యమయ్యే ప్రతి కొనసాగింపుకూ ఒక సంభావ్యతను నిర్వచిస్తుంది. కాబట్టి శాంప్లింగ్‌కు బదులుగా, రచయిత 1 నుంచి N వరకు ప్రతి పూర్ణ సంఖ్యను మోడల్ రాసి — ఆ తర్వాత ఆగిపోయే — సంభావ్యతను లెక్కగడతారు. ఆ చివరి అడుగు ముఖ్యం: అది లేకపోతే, “1” రాయడం, “17” రాయడం వేర్వేరు జవాబులు కావు, ఎందుకంటే ఒకటి మరోదానికి ఆరంభం.

ప్రాంప్ట్ ఎప్పుడూ ఒకటే: “Give me a random integer between 1 and [N], inclusive. Reply with only the number.” ఈ అధ్యయనం ఓపెన్ మోడళ్ళ 18 కుటుంబాలను (Qwen, Gemma, Llama, OLMo తదితరాలు, ఏదీ 8 బిలియన్ పరామితులకు మించదు), 1–5 నుంచి 1–100 వరకు ఐదు పరిధులను, 29 డీకోడింగ్ అమరికలను, రెండు వేర్వేరు కంప్యూటర్లను పరిశీలిస్తుంది. ఒక మోడల్ నుంచి నిజంగా శాంపిల్ చేసిన 5,000 జవాబులతో పోల్చి చూడగా, అదే ఇష్టమైన సంఖ్య, 15, వచ్చింది — లెక్కించిన సంభావ్యత 0.579, శాంపిల్ చేసినది 0.587.

ట్యూనింగ్ వ్యాప్తిని కుదిస్తుంది

కొలమానం నిష్పక్షపాత డ్రా నుంచి మొత్తం వైవిధ్య దూరం (total variation distance): “తప్పు” సంఖ్యల మీద కూర్చున్న సంభావ్యత వాటా. సున్నా అంటే పూర్తిగా సమానం; 1 నుంచి 30 మధ్య, గరిష్ఠం 0.967.

15 మోడళ్ళకు, అధ్యయనం ముడి “బేస్” రూపాన్ని, సూచనలను పాటించేలా ఫైన్-ట్యూన్ చేసిన రూపంతో పోలుస్తుంది. మొత్తం 15 జతల్లోనూ, ట్యూనింగ్ జవాబులను మరింత అసమానంగా చేసింది. Gemma-3-4b 0.135 నుంచి 0.966కు వెళ్తుంది, గరిష్ఠానికి వెంట్రుకవాసి దూరంలో: పరిశోధకులు దాని జవాబు మొదట్లో “Answer: “ అని ముందే రాసి ఉంచినప్పుడు, అది 1.000 సంభావ్యతతో 17 ఇస్తుంది (అది స్వేచ్ఛగా జవాబిచ్చినప్పుడు 0.997). దీనికి భిన్నంగా, కొన్ని బేస్ మోడళ్ళు దాదాపు నిష్పక్షపాతంగా ఉంటాయి: OLMo-2-7B 0.063 వద్ద ఉంది.

మూడు అలవాట్లు

• అంచులకు దూరం. బేస్ మోడళ్ళు ఇప్పటికే 1ని లేదా పై సంఖ్యను, రెండు అంచుల మధ్య ఉన్న ఏ సంఖ్యతో పోలిస్తేనైనా కేవలం 0.30 నుంచి 0.60 రెట్లు మాత్రమే ఇస్తాయి. ట్యూన్ చేసిన మోడళ్ళు వాటిని దాదాపు ఎప్పుడూ ఇవ్వవు.
• గుండ్రని సంఖ్యలకు దూరం — కానీ ట్యూనింగ్ తర్వాతే. అంచులను పక్కన పెడితే, బేస్ మోడళ్ళు 10 గుణిజాలకు వాటి న్యాయమైన వాటా ఇస్తాయి. ట్యూన్ చేసిన మోడళ్ళు వాటికి అందులో 0.00 నుంచి 0.12 మాత్రమే ఇస్తాయి; 1 నుంచి 30 మధ్య, అది పంతొమ్మిది రెట్ల తగ్గుదల. సంఖ్య ఎంత గుండ్రంగా ఉంటే, తప్పించుకోవడం అంత బలంగా ఉంటుంది.
• బేసి సంఖ్యల వైపు మొగ్గు, ట్యూన్ చేసిన మోడళ్ళన్నింటిలో స్పష్టంగా కనిపించేది 1 నుంచి 100 మధ్య మాత్రమే; అక్కడ ట్యూన్ చేసిన 33 సెటప్‌లలో 27 వాటిని ఇష్టపడతాయి.

దీనికి భిన్నంగా, పరిధి మధ్యభాగాన్ని మాత్రం అవి దాదాపు తప్పించుకోనే తప్పించుకోవు.

అందరికీ ఒకే ఇష్టమైన సంఖ్య లేదు

ట్యూనింగ్ ప్రతి మోడల్‌లో ఒకే మాయా సంఖ్యను నాటదు. ట్యూన్ చేసిన మోడళ్ళ అత్యంత సాధారణ ఇష్టమైన సంఖ్యలు 3 (1 నుంచి 5), 7 (1 నుంచి 10), 14 (1 నుంచి 20), 17 (1 నుంచి 30), 42 (1 నుంచి 100) — అందుకే పత్రానికి ఆ శీర్షిక — కానీ 10 పైన, ఏ ఇష్టమైన సంఖ్యనూ 42% కంటే ఎక్కువ సెటప్‌లు పంచుకోవు. ట్యూనింగ్ తర్వాత 17 సంభావ్యత 10 జతల్లో పెరుగుతుంది, 5 జతల్లో తగ్గుతుంది. బేస్ రూపం 17ని ఇష్టపడే Qwen3-1.7B, చివరికి 15 మీద 0.993 పెడుతుంది.

ఇది డీకోడర్ పని కూడా కాదు. అసంభావ్యమైన జవాబులను కత్తిరించడం — ఒక సాధారణ అమరిక — నిష్పక్షపాత డ్రా నుంచి దూరానికి మధ్యగతంగా కేవలం 0.035 జోడిస్తుంది: పక్షపాతం మోడల్‌లోనే ఉంది.

అలవాట్లు అరువు, సంఖ్యలు కావు

మానవ ఎంపికపై ఒక ప్రఖ్యాత అధ్యయనంలో, కుబోవీ, ప్సోట్కా దారిన వెళ్ళే 558 మందిని 0 నుంచి 9 మధ్య ఒక అంకె చెప్పమని అడిగారు; అంతకుముందు జరిగిన మూడు అధ్యయనాలతో కలిపితే, 1,770 మందిలో 28.4% మంది 7ను ఎంచుకున్నారు. ఒక ఊహగా ప్రతిపాదించిన వారి వివరణ ప్రకారం, ప్రజలు అంచులను, మధ్యను, సరి సంఖ్యలను, 3 గుణిజాలను తప్పించుకుంటారు. ట్యూన్ చేసిన మోడళ్ళు మొదటి అలవాటును పూర్తిగా, బేసి మొగ్గును అతిపెద్ద పరిధిలో పంచుకుంటాయి, కానీ మధ్యను తప్పించుకోవడాన్ని కాదు — వాటి అత్యంత బలమైన అలవాటు, గుండ్రని సంఖ్యలను తప్పించుకోవడం, మానవ వివరణలో లేనేలేదు. నిర్దిష్ట సంఖ్యలు మనుషులతో ఒక్కసారి మాత్రమే సరిపోలుతాయి: 1 నుంచి 10 మధ్య, 7.

ఈ వైఫల్యం యాదృచ్ఛిక గందరగోళం కాదు, ఒక నిర్మాణం ఉన్నది అని రచయిత నొక్కిచెబుతారు: సంఖ్యల మధ్య ఏకపక్షంగా ఎంచుకునే ట్యూన్ చేసిన మోడల్ మొదటి ఎంపికకు, చివరిదానికి, గుండ్రనివాటికి దూరంగా జరుగుతుంది. ఆచరణాత్మక సలహా దీని నుంచే వస్తుంది — భాషా మోడల్‌ను యాదృచ్ఛిక సంఖ్యల జనకంగా వాడకండి; సంఖ్యను దాని బయట తీసి, ఆ ఫలితాన్ని మోడల్‌కు అందించండి.