संगणन आणि एआयप्रीप्रिंटप्रयोगवाचनासाठी ४ मिनिटे

एक भाषा-प्रारूप स्वतःचेच भार पुन्हा लिहिते

भाषा-प्रारूप एकदा प्रशिक्षित केले जाते, गोठवले जाते आणि वापरात आणले जाते. ते अधिक चांगले करायचे तर सहसा प्रशिक्षणाची आणखी एक फेरी लागते — मोठे संगणकीय समूह (clusters), प्रशिक्षणाची एक साखळी (pipeline) आणि ती वापरायला जाणणारी माणसे. वापरकर्ता जे बदलू शकतो, ती सूचना (prompt), काम बदलताच नाहीशी होते. UIUC, CMU, रटगर्स (Rutgers), प्रिन्स्टन (Princeton) आणि स्टॅनफर्ड (Stanford) येथील जियाजुन फान (Jiajun Fan), गे लिउ (Ge Liu) आणि सहकाऱ्यांनी एक वेगळा प्रश्न विचारला: एखादे प्रारूप स्वतःचे भार (weights) पुन्हा लिहू शकेल का — त्याची व्याख्या करणारे ते अब्जावधी आकडे — केवळ तर्काच्या आधारे, कोणतेही प्रशिक्षण न करता?

त्यांचे उत्तर होय असे आहे, “आमच्या माहितीनुसार पहिल्यांदाच”, असे ते लिहितात. ते याला स्व-पुनर्लेखन (self-rewriting) म्हणतात.

स्वतःच्या भारांवर एक सत्र

प्रयोगांमध्ये मुक्त प्रारूपांचे एकच कुटुंब वापरले आहे, Qwen3.5, चार आकारांत: 2, 4, 9 आणि 27 अब्ज पॅरामीटर. प्रत्येक प्रारूपाला स्वतःच्या भारांवर एक सत्र मिळते. त्याला सरावाच्या गणिती प्रश्नांवरील आपली गुणांकित उत्तरे मिळतात, आणि एक Python वातावरण, ज्यात ते आपली भार-मॅट्रिक्से वाचू शकते आणि त्यांच्यावर नव्याने लिहू शकते. ते स्वतःला मर्यादित वेळा चालवूही शकते — 20 अग्र-पासेस (forward passes) — आपल्या बदलासह आणि बदलाशिवाय प्रश्न सोडवण्यासाठी, तीच यादृच्छिक बीजे (random seeds) वापरून, किंवा स्वतःच्या लपलेल्या अवस्था (hidden states) वाचण्यासाठी.

त्याला जे करता येत नाही ते म्हणजे प्रशिक्षण. हे वातावरण प्रवणतांची (gradients) कोणतीही गणना आणि कोणताही इष्टतमकारक (optimizer) नाकारते, त्यात GPU नाही आणि नेटवर्कचा प्रवेशही नाही, आणि संपूर्ण मॅट्रिक्सचे केवळ प्रमाण बदलणारे बदल ते अडवते. प्रारूप बदलत असलेले प्रत्येक मूल्य त्याच्या स्वतःच्या तर्काने लिहिलेले असते. त्यानंतर निकाल अशा प्रश्नांवर तपासले जातात जे सत्रांनी कधीच पाहिलेले नसतात.

बिघडलेले मॅट्रिक्स शोधताना

पहिल्या चाचणीत, चमूने 27 अब्ज पॅरामीटरच्या प्रारूपाला स्वतःचीच एक बिघडवलेली प्रत दिली: 64 पैकी 30 व्या स्तरातील एका मॅट्रिक्सच्या आठ ओळी गोंगाटाने (noise) अधिलिखित केलेल्या. प्रारूपाला फक्त इतकेच सांगितले होते की काही मूल्ये दूषित झाली आहेत. ही प्रत एकही प्रश्न सोडवू शकत नव्हती.

त्याचे सत्र वाचताना डिबगिंग वाचल्यासारखे वाटते. त्याने प्रथम सुरुवातीच्या स्तरांवर संशय घेतला — तो चुकीचा होता, आणि त्याच्या स्वतःच्या चाचण्यांनीही तेच सांगितले. मग त्याने प्रत्येक आउटपुट-मॅट्रिक्समधील सर्वात मोठ्या भाराची तुलना सर्वसाधारण भाराशी केली, आणि त्याला दोषी सापडला: “स्तर 30 च्या down_proj मध्ये एक टोकाचे 1397x बाह्यमूल्य (outlier) आहे”. त्याचा उपाय सौम्य होता: त्या मॅट्रिक्समध्ये आणि इतर 19 मॅट्रिक्सांमध्ये, आपापल्या मॅट्रिक्सच्या मध्यकाच्या (median) 15 पटीपेक्षा मोठा असलेला प्रत्येक भार त्या मर्यादेवर रोखणे. त्याने मूळ मूल्ये पुनर्स्थापित केली नाहीत, जी त्याने कधी पाहिलीच नव्हती; त्याने यादृच्छिक मूल्यांना मर्यादा घातली. 200 राखीव (held-out) गणिती प्रश्नांवर प्रत 0% वरून 33% वर गेली. याहून लक्षवेधी म्हणजे, केवळ मजकुरावर सापडलेली ही दुरुस्ती प्रतिमांवरही चालली: यापूर्वी कधीही न पाहिलेल्या सहा प्रतिमा-मानदंडांवर (benchmarks) प्रत 7.3% वरून 70.2% वर गेली, जे बिघाड न झालेल्या प्रारूपाच्या अचूकतेच्या 83% आहे.

स्वतःला थांबायला शिकवताना

स्वतःच्या, बिघाड न झालेल्या भारांवर, 27B प्रारूपाने एका निदानापासून सुरुवात केली: त्याच्या बहुतेक उत्तरांचे टोकन (tokens) संपून जात होते, तरीही जी उत्तरे पूर्ण झाली ती जवळजवळ सर्व बरोबर होती. त्याच्याच शब्दांत: “माझा तर्क योग्य आहे, पण माझ्याकडून फार पाल्हाळ होतो किंवा निष्कर्षांपर्यंत कार्यक्षमपणे पोहोचणे मला जमत नाही.”

म्हणून त्याने पूर्ण होणाऱ्या आणि लांबत जाणाऱ्या उत्तरांवरील आपल्या लपलेल्या अवस्थांची तुलना केली, त्यांना वेगळी करणारी दिशा शोधली, आणि एका स्तरातून त्या दिशेचा एक लहानसा अंश काढून टाकला. त्याच्या चाचण्यांनी या बदलाला अनुकूल कौल दिला. दुसऱ्या एका कार्यपद्धतीत (protocol), प्रारूपाने एखादा बदल सादर करायचा की नाही हे ठरवण्यापूर्वी, चौकटीने (framework) प्रत्येक बदल राखीव प्रश्नांवर एकदा तपासलाही. अशा पहिल्या आठ सत्रांमध्ये — ती सर्व नोंदवलेली आहेत — प्रारूपाने पाचमध्ये माघार घेतली आणि तीन बदल सादर केले. त्यांपैकी दोन बदलांमुळे ते 490 नव्या प्रश्नांवर लक्षणीयरीत्या अधिक चांगले झाले: +6.6 गुण (57.2% वरून 63.8%) आणि +4.0 गुण. मोठा लाभ एका आश्चर्यकारकरीत्या साध्या बदलातून आला — प्रत्येक रेषीय-अवधान स्तरातील (linear-attention layer) एक सेटिंग किंचित सरकवणे — ज्यानंतर कमी उत्तरांचे टोकन संपले. एका प्रश्नावर, मूळ प्रारूपाने उत्तर न देता एकच वाक्य 549 वेळा पुन्हा पुन्हा लिहिले; बदलानंतर त्याने अचूक उत्तर दिले. सर्वात मोठ्या लाभांमागचे प्रत्येक सत्र एकाच GPU वर काही तासांत पूर्ण झाले.

केवळ सर्वात मोठे प्रारूपच यशस्वी होते

तेच काम आणि तीच साधने असताना, आकारानेच सारा फरक पडला. 2 अब्ज पॅरामीटरच्या प्रारूपाने कोणताही बदल केला नाही: त्याचा बहुतेक कोड अयशस्वी ठरला. 4 आणि 9 अब्जच्या प्रारूपांनी आपल्या भारांमध्ये यादृच्छिक गोंगाट मिसळला आणि स्वतःलाच बिघडवले; 9 अब्जच्या प्रारूपाने तर असा बदल सादर केला ज्यामुळे ते नव्या प्रश्नांची उत्तरे देण्यास असमर्थ झाले. केवळ 27 अब्जच्या प्रारूपाने कृती करण्यापूर्वी मोजमाप केले आणि त्याच्या चाचण्यांनी ज्याला आधार दिला तेवढेच ठेवले. लेखकांच्या मते, स्वतःच्या भारांचे निदान करण्याची आणि ते पुन्हा लिहिण्याची क्षमता आकारासोबत वाढते, याचा एकाच प्रारूप-कुटुंबातील हा पहिला पुरावा आहे.

हे दावे कशावर आधारलेले आहेत

निकाल एकाच प्रारूप-कुटुंबातून आणि मुख्यतः गणिती प्रश्नांवरून आले आहेत. लाभ मुख्यतः कधीच न संपणारी उत्तरे दुरुस्त करतात, आणि सादर केलेल्या तीन बदलांपैकी एकाने कोणताही लक्षणीय लाभ दिला नाही. बिघाडाने जे हिरावले होते त्यापैकी बहुतेक, पण सर्व नव्हे, दुरुस्तीमुळे परत मिळते. लेखकांना असे भविष्य दिसते ज्यात एखादे प्रारूप सुधारण्यासाठी “प्रशिक्षणाची फेरी नव्हे, तर एक संभाषण” लागेल, आणि कदाचित पुनःपुन्हा स्वतःला सुधारणाऱ्या प्रारूपांकडे जाणारा एक मार्गही. तो मार्ग, ते आग्रहाने सांगतात, माणसांना प्रक्रियेत सामील ठेवूनच (in the loop) चोखाळला पाहिजे: एखाद्या प्रारूपाने स्वतःपासून घडवलेले प्रत्येक प्रारूप कामासाठी तसेच सुरक्षिततेसाठी तपासले जावे, आणि एखाद्या व्यक्तीने त्याची पुष्टी करावी.