ஒரு சாட்பாட்டிடம் சீரற்ற ஓர் எண்ணைத் தேர்ந்தெடுக்கச் சொல்லுங்கள்

சமநிலைகளை உடைக்கவும், தன்னிச்சையான தேர்வுகளைச் செய்யவும், நாணயச் சுண்டலுக்குப் பதிலாகவும் மக்கள் சாட்பாட்களிடம் கேட்கின்றனர். Samar Ansari இதை அளவுத்திருத்தம் (calibration) பற்றிய ஒரு கேள்வியாகக் கருதுகிறார்: எந்த விருப்பத்தையும் முன்னிறுத்தக் காரணமில்லாத ஒரு மாதிரி, தன் நிகழ்தகவை அவை அனைத்தின் மீதும் பரப்ப வேண்டும். எதுவும் எந்தப் பதிலுக்கும் சாதகமாக இல்லாதபோது ஒரு மாதிரி என்ன செய்கிறது என்பது, ஆய்வுக்கட்டுரையின் சொற்களில், “அளக்கக்கூடிய ஒரு பண்பு, ஒரு வேடிக்கை வித்தை அல்ல”.

முந்தைய ஆய்வுகள் பதில்களை எண்ணின: அதே கேள்வியை ஏறக்குறைய நூறு முறை கேட்டு, பின்னர் ஒரு நிகழ்வெண் வரைபடத்தை (histogram) வரைந்தன. அது, மாதிரி தானாக விரும்புவதையும் குறிவிலக்க அமைப்புகள் (decoding settings) அதற்குச் செய்வதையும் கலந்துவிடுகிறது; மேலும் நூறு எடுப்புகள் நுண்ணிய விவரங்களை மறைத்துவிடுகின்றன.

துல்லியமான வாய்ப்புகள், உருட்டப்படாத பகடைகள்

ஒரு நிலையான தூண்டுரைக்கு (prompt), ஒரு மொழி மாதிரி சாத்தியமான ஒவ்வொரு தொடர்ச்சிக்கும் ஒரு நிகழ்தகவை வரையறுக்கிறது. எனவே கூறெடுப்பதற்குப் (sampling) பதிலாக, மாதிரி 1 முதல் N வரையிலான ஒவ்வொரு முழு எண்ணையும் எழுதி — பின்னர் நிறுத்துவதற்கான நிகழ்தகவை ஆசிரியர் கணக்கிடுகிறார். அந்தக் கடைசிப் படி முக்கியமானது: அது இல்லாவிட்டால், “1” என்று எழுதுவதும் “17” என்று எழுதுவதும் தனித்தனிப் பதில்களாக இருக்காது, ஏனெனில் ஒன்று மற்றொன்றின் தொடக்கமாக உள்ளது.

தூண்டுரை எப்போதும் ஒன்றே: “Give me a random integer between 1 and [N], inclusive. Reply with only the number.” (“1 முதல் [N] வரை, இரண்டையும் உள்ளடக்கி, ஒரு சீரற்ற முழு எண்ணைக் கொடு. எண்ணை மட்டும் பதிலாக எழுது.”) இந்த ஆய்வு திறந்த மாதிரிகளின் 18 குடும்பங்களை (Qwen, Gemma, Llama, OLMo மற்றும் பிற; எதுவும் 8 பில்லியன் அளபுருக்களுக்கு (parameters) மேல் இல்லை), 1–5 முதல் 1–100 வரையிலான ஐந்து வரம்புகளை, 29 குறிவிலக்க அமைப்புகளை, இரண்டு வெவ்வேறு கணினிகளை உள்ளடக்குகிறது. ஒரு மாதிரியிடமிருந்து உண்மையில் கூறெடுக்கப்பட்ட 5,000 பதில்களுடன் ஒப்பிட்டுச் செய்த சரிபார்ப்பு, அதே விருப்ப எண்ணான 15-ஐத் தந்தது: கணக்கிடப்பட்ட நிகழ்தகவு 0.579, கூறெடுப்பில் 0.587.

சீரமைப்பு பரவலை நெருக்குகிறது

அளவுகோல், நியாயமான ஒரு குலுக்கலிலிருந்து உள்ள மொத்த மாறுபாட்டுத் தொலைவு (total variation distance): “தவறான” எண்கள் மீது அமர்ந்திருக்கும் நிகழ்தகவின் பங்கு. பூஜ்ஜியம் என்றால் முற்றிலும் சீரானது; 1 முதல் 30 வரை, அதிகபட்சம் 0.967.

15 மாதிரிகளுக்கு, ஆய்வு பச்சையான “அடிப்படை” (base) பதிப்பை, அறிவுறுத்தல்களைப் பின்பற்றுமாறு நுண்சீரமைக்கப்பட்ட (fine-tuned) பதிப்புடன் ஒப்பிடுகிறது. 15 இணைகள் அனைத்திலும், சீரமைப்பு பதில்களின் சீர்மையைக் குறைத்தது. Gemma-3-4b 0.135-இலிருந்து 0.966-க்குச் செல்கிறது, அதிகபட்சத்திலிருந்து ஒரு மயிரிழை தொலைவில்: ஆய்வாளர்கள் அதன் பதிலின் தொடக்கத்தை “Answer: “ (“பதில்: “) என்று முன்கூட்டியே எழுதி வைத்தால், அது 1.000 நிகழ்தகவுடன் 17 தருகிறது (அது தானாகப் பதிலளிக்கும்போது 0.997). மாறாக, சில அடிப்படை மாதிரிகள் ஏறக்குறைய நியாயமானவை: OLMo-2-7B 0.063-இல் உள்ளது.

மூன்று பழக்கங்கள்

• முனைகள் தவிர்க்கப்படுகின்றன. அடிப்படை மாதிரிகளே ஏற்கெனவே 1-ஐயோ உச்ச எண்ணையோ, இடையில் உள்ள எந்த ஓர் எண்ணையும் தருவதை விட 0.30 முதல் 0.60 மடங்கு அளவுக்கு மட்டுமே தருகின்றன. சீரமைக்கப்பட்ட மாதிரிகள் அவற்றை ஏறக்குறைய ஒருபோதும் தருவதில்லை.
• வட்ட எண்கள் (round numbers) தவிர்க்கப்படுகின்றன — ஆனால் சீரமைப்புக்குப் பிறகு மட்டுமே. முனைகளை ஒதுக்கி வைத்தால், அடிப்படை மாதிரிகள் 10-இன் மடங்குகளுக்கு அவற்றின் நியாயமான பங்கைத் தருகின்றன. சீரமைக்கப்பட்ட மாதிரிகள் அந்தப் பங்கில் 0.00 முதல் 0.12 வரை மட்டுமே தருகின்றன; 1 முதல் 30 வரை, இது பத்தொன்பது மடங்கு வீழ்ச்சி. எண் எவ்வளவு வட்டமாக இருக்கிறதோ, தவிர்ப்பு அவ்வளவு வலுவானது.
• ஒற்றைப்படை எண்களை நோக்கிய ஒரு சாய்வு, சீரமைக்கப்பட்ட மாதிரிகள் முழுவதிலும் 1 முதல் 100 வரையிலான வரம்பில் மட்டுமே தெளிவாகத் தெரிகிறது; அங்கே சீரமைக்கப்பட்ட 33 அமைவுகளில் 27 அவற்றை விரும்புகின்றன.

மாறாக, வரம்பின் நடுப்பகுதி அரிதாகவே தவிர்க்கப்படுகிறது.

அனைவருக்கும் பொதுவான விருப்ப எண் இல்லை

சீரமைப்பு ஒவ்வொரு மாதிரியிலும் ஒரே மாய எண்ணை விதைப்பதில்லை. சீரமைக்கப்பட்ட மாதிரிகளின் மிகப் பொதுவான விருப்ப எண்கள் 3 (1 முதல் 5), 7 (1 முதல் 10), 14 (1 முதல் 20), 17 (1 முதல் 30), 42 (1 முதல் 100) — ஆய்வுக்கட்டுரையின் தலைப்பு இதிலிருந்தே — ஆனால் 10-க்கு மேல், எந்த விருப்ப எண்ணும் 42%-க்கும் அதிகமான அமைவுகளால் பகிரப்படவில்லை. சீரமைப்புக்குப் பிறகு 17-இன் நிகழ்தகவு 10 இணைகளில் உயர்கிறது, 5-இல் குறைகிறது. அடிப்படைப் பதிப்பு 17-ஐ விரும்பும் Qwen3-1.7B, இறுதியில் 15 மீது 0.993-ஐ வைக்கிறது.

இது குறிவிலக்கியின் (decoder) வேலையும் அல்ல. சாத்தியம் குறைந்த பதில்களை வெட்டிவிடுவது — ஒரு பொதுவான அமைப்பு — நியாயமான குலுக்கலிலிருந்தான தொலைவில் இடைநிலை அளவாக (median) வெறும் 0.035-ஐயே சேர்க்கிறது: சார்பு மாதிரிக்குள்ளேயே வாழ்கிறது.

பழக்கங்கள் கடன் வாங்கப்பட்டன, எண்கள் அல்ல

மனிதத் தேர்வு பற்றிய ஒரு புகழ்பெற்ற ஆய்வில், Kubovy, Psotka ஆகியோர் வழிப்போக்கர்கள் 558 பேரிடம் 0 முதல் 9 வரையிலான ஓர் இலக்கத்தைக் கேட்டனர்; முந்தைய மூன்று ஆய்வுகளுடன் சேர்த்தால், 1,770 பேரில் 28.4% பேர் 7-ஐத் தேர்ந்தெடுத்தனர். ஓர் ஊகமாக முன்வைக்கப்பட்ட அவர்களின் விளக்கத்தின்படி, மக்கள் முனைகளையும், நடுவையும், இரட்டைப்படை எண்களையும், 3-இன் மடங்குகளையும் தவிர்க்கின்றனர். சீரமைக்கப்பட்ட மாதிரிகள் முதல் பழக்கத்தை முழுமையாகவும், மிகப்பெரிய வரம்பில் ஒற்றைப்படைச் சாய்வையும் பகிர்ந்துகொள்கின்றன, ஆனால் நடுவைத் தவிர்ப்பதை அல்ல — மேலும் அவற்றின் வலுவான பழக்கமான வட்ட எண்களைத் தவிர்ப்பது, மனிதர்களைப் பற்றிய அந்த விளக்கத்தில் இல்லை. குறிப்பிட்ட எண்கள் மனிதர்களுடன் ஒருமுறை மட்டுமே பொருந்துகின்றன: 1 முதல் 10 வரை, 7.

இந்தத் தோல்வி இரைச்சலானதல்ல, ஒரு கட்டமைப்பைக் கொண்டது என்று ஆசிரியர் வலியுறுத்துகிறார்: எண்களிடையே தன்னிச்சையாகத் தேர்ந்தெடுக்கும் ஒரு சீரமைக்கப்பட்ட மாதிரி, முதல் விருப்பத்தையும், கடைசியையும், வட்டமானவற்றையும் விட்டு விலகிச் செல்கிறது. நடைமுறை அறிவுரை இதிலிருந்தே பிறக்கிறது — ஒரு மொழி மாதிரியைச் சீரற்ற எண் உருவாக்கியாகப் பயன்படுத்த வேண்டாம்; எண்ணை அதற்கு வெளியே எடுத்து, பிறகு அந்த முடிவை மாதிரியிடம் ஒப்படையுங்கள்.