ஒரு மொழி மாதிரி தன் சொந்த எடைகளைத் தானே மாற்றி எழுதுகிறது
ஒரு மொழி மாதிரி ஒருமுறை பயிற்றுவிக்கப்பட்டு, உறைய வைக்கப்பட்டு, பயன்பாட்டுக்கு விடப்படுகிறது. அதை மேம்படுத்த, வழக்கமாக இன்னொரு பயிற்சி ஓட்டம் தேவை — பெரிய கணினிக் கொத்துகள், ஒரு பயிற்சிச் செயல்முறைத் தொடர் (pipeline), அவற்றைப் பயன்படுத்தத் தெரிந்த மனிதர்கள். ஒரு பயனர் மாற்றக்கூடியதான உள்ளீட்டுக் கட்டளை (prompt), பணி மாறியதும் மறைந்துவிடுகிறது. UIUC, CMU, Rutgers, Princeton, Stanford ஆகியவற்றைச் சேர்ந்த Jiajun Fan, Ge Liu மற்றும் சக ஆய்வாளர்கள் வேறொரு கேள்வியைக் கேட்டனர்: ஒரு மாதிரி, பயிற்சி எதுவுமின்றி, பகுத்தறிவால் மட்டுமே தன் சொந்த எடைகளை மாற்றி எழுத முடியுமா — அதை வரையறுக்கும் பில்லியன் கணக்கான எண்களை?
அவர்கள் எழுதுவதுபடி, அவர்களின் விடை ஆம் — “எங்களுக்குத் தெரிந்தவரை முதன்முறையாக”. அவர்கள் இதைத் தன்னைத்தானே மாற்றியெழுதுதல் (self-rewriting) என்று அழைக்கின்றனர்.
தன் சொந்த எடைகள் மீது ஓர் அமர்வு
சோதனைகள் Qwen3.5 என்ற ஒரே திறந்த மாதிரிக் குடும்பத்தை, நான்கு அளவுகளில் பயன்படுத்துகின்றன: 2, 4, 9, 27 பில்லியன் அளவுருக்கள். ஒவ்வொரு மாதிரியும் தன் சொந்த எடைகள் மீது ஓர் அமர்வைப் பெறுகிறது. பயிற்சிக் கணிதச் சிக்கல்களில் மதிப்பிடப்பட்ட தன் விடைகளையும், தன் எடை அணிகளைப் படித்து மேலெழுதக்கூடிய ஒரு Python சூழலையும் அது பெறுகிறது. குறைந்த எண்ணிக்கையில் — 20 முன்னோக்குக் கடத்தல்கள் (forward passes) — தன்னைத் தானே இயக்கவும் அதனால் முடியும்: அதே சீரற்ற விதைகளைப் (random seeds) பயன்படுத்தி, தன் திருத்தத்துடனும் அது இல்லாமலும் சிக்கல்களுக்கு விடையளிக்க, அல்லது தன் சொந்த மறை நிலைகளைப் (hidden states) படிக்க.
அதனால் செய்ய முடியாதது பயிற்சி. சூழல், கிரேடியன்ட்களின் எந்தக் கணக்கீட்டையும் எந்த உகப்பாக்கியையும் (optimizer) மறுக்கிறது; அதில் GPU இல்லை, வலையமைப்பு அணுகல் இல்லை; ஓர் அணி முழுவதையும் வெறுமனே அளவுமாற்றம் செய்யும் திருத்தங்களையும் அது தடுக்கிறது. மாதிரி மாற்றும் ஒவ்வொரு மதிப்பும் அதன் சொந்தப் பகுத்தறிவால் எழுதப்படுகிறது. பின்னர், அமர்வுகள் ஒருபோதும் பார்த்திராத சிக்கல்களில் முடிவுகள் சரிபார்க்கப்படுகின்றன.
உடைந்த அணியைக் கண்டறிதல்
முதல் சோதனையில், குழு 27 பில்லியன் அளவுருக்கள் கொண்ட மாதிரிக்குத் தன்னுடைய சேதமடைந்த ஒரு நகலைக் கொடுத்தது: 64 அடுக்குகளில் 30-ஆவது அடுக்கில் உள்ள ஓர் அணியின் எட்டு வரிசைகள் இரைச்சலால் மேலெழுதப்பட்டிருந்தன. சில மதிப்புகள் சிதைக்கப்பட்டுள்ளன என்று மட்டுமே மாதிரிக்குச் சொல்லப்பட்டது. அந்த நகல் எதையும் தீர்க்கவில்லை.
அதன் அமர்வு ஒரு பிழைநீக்கம் (debugging) போலப் படிக்கிறது. அது முதலில் தொடக்க அடுக்குகளைச் சந்தேகித்தது — தவறு, அதன் சொந்தச் சோதனைகளும் அதையே சொன்னன. பின்னர் ஒவ்வொரு வெளியீட்டு அணியிலும் உள்ள மிகப்பெரிய எடையை வழக்கமான ஒன்றுடன் ஒப்பிட்டு, குற்றவாளியைக் கண்டறிந்தது: “அடுக்கு 30-இன் down_proj-இல் ஒரு தீவிரமான 1397x விலகல் மதிப்பு உள்ளது”. அதன் திருத்தம் மென்மையானது: அந்த அணியிலும் வேறு 19 அணிகளிலும், தன் அணியின் இடைநிலை மதிப்பின் (median) 15 மடங்குக்கு மேல் உள்ள எந்த எடையையும் அந்த வரம்புக்குள் கட்டுப்படுத்தியது. அது ஒருபோதும் பார்த்திராத மூல மதிப்புகளை அது மீட்டெடுக்கவில்லை; சீரற்ற மதிப்புகளைக் கட்டுப்படுத்தியது. ஒதுக்கி வைக்கப்பட்ட (held-out) 200 கணிதச் சிக்கல்களில், நகல் 0%-இலிருந்து 33%-க்கு உயர்ந்தது. இன்னும் வியப்பூட்டுவது: உரையை மட்டுமே கொண்டு கண்டறியப்பட்ட அந்தப் பழுதுநீக்கம் படங்களிலும் வேலை செய்தது: அது ஒருபோதும் பார்த்திராத ஆறு பட ஒப்பீட்டுச் சோதனைகளில் (benchmarks), நகல் 7.3%-இலிருந்து 70.2%-க்கு உயர்ந்தது; இது சேதமடையாத மாதிரியின் துல்லியத்தில் 83% ஆகும்.
நிறுத்தத் தனக்குத் தானே கற்பித்தல்
சேதமடையாத தன் சொந்த எடைகளில், 27B மாதிரி ஒரு நோயறிதலுடன் தொடங்கியது: அதன் பெரும்பாலான விடைகள் டோக்கன்கள் (tokens) தீர்ந்துபோய் நின்றன; ஆனால் முடிவடைந்தவற்றில் கிட்டத்தட்ட அனைத்தும் சரியானவை. அதன் சொந்தச் சொற்களில்: “என் பகுத்தறிவு சரியானதுதான், ஆனால் நான் மிகவும் நீட்டி முழக்குகிறேன், அல்லது முடிவுகளை நோக்கித் திறமையாகக் குவிவதில்லை.”
எனவே, முடிவடையும் விடைகளிலும் நீண்டுகொண்டே போகும் விடைகளிலும் தன் மறை நிலைகளை அது ஒப்பிட்டு, அவற்றைப் பிரிக்கும் திசையைக் கண்டறிந்து, ஓர் அடுக்கிலிருந்து அதன் ஒரு சிறு பங்கை நீக்கியது. அதன் சோதனைகள் அந்தத் திருத்தத்துக்குச் சாதகமாக இருந்தன. இரண்டாவது நெறிமுறையில், மாதிரி ஒவ்வொரு திருத்தத்தையும் சமர்ப்பிக்கத் தேர்வு செய்வதற்கு முன், கட்டமைப்பும் (framework) அதை ஒதுக்கப்பட்ட சிக்கல்களில் ஒருமுறை சரிபார்த்தது. அத்தகைய முதல் எட்டு அமர்வுகளில் — அனைத்தும் அறிவிக்கப்பட்டவை — மாதிரி ஐந்தில் பின்வாங்கியது, மூன்றைச் சமர்ப்பித்தது. அவற்றில் இரண்டு, 490 புதிய சிக்கல்களில் அதைக் குறிப்பிடத்தக்க அளவில் மேம்படுத்தின: +6.6 புள்ளிகள் (57.2%-இலிருந்து 63.8%-க்கு), +4.0 புள்ளிகள். பெரிய ஆதாயம் வியக்கத்தக்க வகையில் எளிய ஒரு மாற்றத்திலிருந்து வந்தது — ஒவ்வொரு நேரியல் கவன அடுக்கிலும் (linear-attention layer) ஓர் அமைப்பைச் சற்று நகர்த்தியது — அதன் பிறகு குறைவான விடைகளே டோக்கன்கள் தீர்ந்து நின்றன. ஒரு சிக்கலில், மூல மாதிரி விடையளிக்காமல் ஒரே வாக்கியத்தை 549 முறை திரும்பத் திரும்பச் சொன்னது; திருத்தத்துக்குப் பிறகு, அது சரியாக விடையளித்தது. மிகப்பெரிய ஆதாயங்களுக்குப் பின்னால் இருந்த ஒவ்வோர் அமர்வும் ஒற்றை GPU-இல் சில மணி நேரங்களில் இயங்கியது.
மிகப்பெரிய மாதிரி மட்டுமே வெற்றி பெறுகிறது
அதே பணி, அதே கருவிகளுடன், அளவே எல்லா வேறுபாட்டையும் ஏற்படுத்தியது. 2 பில்லியன் அளவுருக்கள் கொண்ட மாதிரி எந்தத் திருத்தமும் செய்யவில்லை: அதன் நிரல்களில் பெரும்பாலானவை தோல்வியடைந்தன. 4, 9 பில்லியன் மாதிரிகள் தங்கள் எடைகளில் சீரற்ற இரைச்சலைச் சேர்த்து தங்களைத் தாமே உடைத்துக்கொண்டன; 9 பில்லியன் மாதிரி, புதிய சிக்கல்களுக்கு விடையளிக்க முடியாதபடி தன்னை ஆக்கிய ஒரு திருத்தத்தைச் சமர்ப்பிக்கவும் செய்தது. 27 பில்லியன் மாதிரி மட்டுமே செயல்படும் முன் அளந்து, தன் சோதனைகள் ஆதரித்ததை மட்டுமே வைத்துக்கொண்டது. ஆசிரியர்களைப் பொறுத்தவரை, ஒரே மாதிரிக் குடும்பத்துக்குள், தன் சொந்த எடைகளை நோயறிந்து மாற்றி எழுதும் திறன் அளவுடன் வளர்கிறது என்பதற்கான முதல் சான்று இது.
கூற்றுகள் எதன் மீது நிற்கின்றன
முடிவுகள் ஒரே மாதிரிக் குடும்பத்திலிருந்தும், பெரும்பாலும் கணிதச் சிக்கல்களிலிருந்தும் வருகின்றன. ஆதாயங்கள் முக்கியமாக ஒருபோதும் முடிவடையாத விடைகளைச் சரிசெய்கின்றன; சமர்ப்பிக்கப்பட்ட மூன்று திருத்தங்களில் ஒன்று குறிப்பிடத்தக்க ஆதாயம் எதையும் தரவில்லை. பழுதுநீக்கம், சேதம் பறித்ததில் பெரும்பகுதியை மீட்கிறது, அனைத்தையும் அல்ல. ஒரு மாதிரியை மேம்படுத்த “ஒரு பயிற்சி ஓட்டம் அல்ல, ஓர் உரையாடல்” தேவைப்படும் ஓர் எதிர்காலத்தை ஆசிரியர்கள் காண்கின்றனர்; தங்களைத் தாமே மீண்டும் மீண்டும் மேம்படுத்திக்கொள்ளும் மாதிரிகளை நோக்கிய ஒரு பாதையையும் கூட. அந்தப் பாதையில், மனிதர்களைச் சுழற்சிக்குள் (in the loop) வைத்தே செல்ல வேண்டும் என்று அவர்கள் வலியுறுத்துகின்றனர்: ஒரு மாதிரி தன்னிலிருந்து உருவாக்கும் ஒவ்வொரு மாதிரியும், பணிக்காக மட்டுமின்றிப் பாதுகாப்புக்காகவும் மதிப்பிடப்பட்டு, ஒரு மனிதரால் உறுதிப்படுத்தப்பட வேண்டும்.
