ایک لسانی ماڈل اپنے ہی اوزان دوبارہ لکھتا ہے
ایک لسانی ماڈل کو ایک بار تربیت دی جاتی ہے، منجمد کیا جاتا ہے اور استعمال میں لایا جاتا ہے۔ اسے بہتر بنانے کے لیے عموماً ایک اور تربیتی دور (training run) درکار ہوتا ہے — بڑے کمپیوٹنگ کلسٹر، ایک تربیتی نظام (pipeline) اور وہ لوگ جو انہیں استعمال کرنا جانتے ہوں۔ صارف جو چیز بدل سکتا ہے، یعنی پرامپٹ، وہ کام بدلتے ہی غائب ہو جاتی ہے۔ UIUC، CMU، Rutgers، Princeton اور Stanford سے وابستہ Jiajun Fan، Ge Liu اور ان کے رفقا نے ایک مختلف سوال پوچھا: کیا کوئی ماڈل اپنے ہی اوزان (weights) دوبارہ لکھ سکتا ہے — وہ اربوں اعداد جو اس کی تعریف متعین کرتے ہیں — محض سوچ بچار سے، بغیر کسی تربیت کے؟
ان کے بقول اس کا جواب ہاں ہے، “ہمارے علم کے مطابق پہلی بار”۔ وہ اسے خود بازنویسی (self-rewriting) کہتے ہیں۔
اپنے ہی اوزان پر ایک سیشن
تجربات میں کھلے ماڈلز کا ایک ہی خاندان، Qwen3.5، چار جسامتوں میں استعمال ہوا ہے: 2، 4، 9 اور 27 ارب پیرامیٹرز۔ ہر ماڈل کو اپنے ہی اوزان پر ایک سیشن ملتا ہے۔ اسے مشقی ریاضی کے مسائل پر اپنے نمبر لگے ہوئے جوابات ملتے ہیں اور ایک Python ماحول، جس میں وہ اپنے اوزان کے میٹرکس پڑھ سکتا ہے اور ان پر نئی قدریں لکھ سکتا ہے۔ وہ خود کو محدود تعداد میں چلا بھی سکتا ہے — 20 فارورڈ پاس (forward passes) — تاکہ انہی بے ترتیب بیجوں (random seeds) کے ساتھ اپنی ترمیم سمیت اور اس کے بغیر مسائل حل کرے، یا اپنی پوشیدہ حالتیں (hidden states) پڑھے۔
جو وہ نہیں کر سکتا وہ ہے تربیت۔ ماحول گریڈینٹ کے کسی بھی حساب اور کسی بھی آپٹیمائزر (optimizer) کو رد کر دیتا ہے، اس میں نہ GPU ہے نہ نیٹ ورک تک رسائی، اور یہ ایسی ترامیم روک دیتا ہے جو محض پورے میٹرکس کا پیمانہ بدل دیں۔ ماڈل جو بھی قدر بدلتا ہے وہ اس کی اپنی سوچ بچار سے لکھی جاتی ہے۔ پھر نتائج ان مسائل پر جانچے جاتے ہیں جو سیشنز نے کبھی نہیں دیکھے۔
ٹوٹے ہوئے میٹرکس کی تلاش
پہلی آزمائش میں ٹیم نے 27 ارب پیرامیٹرز والے ماڈل کو اپنی ہی ایک خراب نقل دی: 64 میں سے تہہ (layer) 30 کے ایک میٹرکس کی آٹھ قطاروں پر شور (noise) لکھ دیا گیا تھا۔ ماڈل کو صرف یہ بتایا گیا کہ کچھ قدریں خراب کر دی گئی ہیں۔ یہ نقل کچھ بھی حل نہیں کر پاتی تھی۔
اس کا سیشن ڈیبگنگ جیسا لگتا ہے۔ پہلے اسے ابتدائی تہوں پر شک ہوا — جو غلط تھا، اور اس کی اپنی آزمائشوں نے یہی بتایا۔ پھر اس نے ہر آؤٹ پٹ میٹرکس میں سب سے بڑے وزن کا ایک عام وزن سے موازنہ کیا، اور مجرم ڈھونڈ لیا: “تہہ 30 کے down_proj میں ایک انتہائی 1397x بیرونی قدر (outlier) ہے”۔ اس کا علاج نرم تھا: اس میٹرکس اور 19 دوسرے میٹرکسز میں، ہر وہ وزن جو اپنے میٹرکس کے وسطانیہ (median) کے 15 گنا سے زیادہ ہو، اسی حد پر روک دیا جائے۔ اس نے اصل قدریں بحال نہیں کیں، جو اس نے کبھی دیکھی ہی نہیں تھیں؛ اس نے بے ترتیب قدروں کی حد باندھ دی۔ 200 محفوظ رکھے گئے (held-out) ریاضی کے مسائل پر، نقل 0% سے 33% تک پہنچ گئی۔ اس سے بھی زیادہ حیرت انگیز یہ کہ یہ مرمت، جو صرف متن پر ڈھونڈی گئی تھی، تصاویر پر بھی کارگر رہی: چھ ایسے تصویری بینچ مارکس (benchmarks) پر جو اس نے کبھی نہیں دیکھے تھے، نقل 7.3% سے 70.2% تک پہنچی، جو غیر خراب ماڈل کی درستی کا 83% ہے۔
خود کو رکنا سکھانا
اپنے ہی، غیر خراب اوزان پر، 27B ماڈل نے ایک تشخیص سے آغاز کیا: اس کے زیادہ تر جوابات کے ٹوکن (tokens) ختم ہو جاتے تھے، پھر بھی جو جوابات مکمل ہوتے ان میں سے تقریباً سب درست تھے۔ اس کے اپنے الفاظ میں: “میری سوچ بچار درست ہے لیکن مجھ میں طوالت بہت زیادہ ہے یا میری بات مؤثر طریقے سے نتائج تک نہیں پہنچتی۔”
چنانچہ اس نے ان جوابات کی پوشیدہ حالتوں کا موازنہ کیا جو مکمل ہوتے ہیں اور جو چلتے ہی رہتے ہیں، انہیں الگ کرنے والی سمت ڈھونڈی، اور ایک تہہ سے اس سمت کا ایک چھوٹا سا حصہ نکال دیا۔ اس کی آزمائشیں ترمیم کے حق میں تھیں۔ ایک دوسرے طریقۂ کار (protocol) میں، فریم ورک نے ہر ترمیم کو، ماڈل کے اسے جمع کرانے کا فیصلہ کرنے سے پہلے، ایک بار مخصوص رکھے گئے مسائل پر بھی جانچا۔ ایسے پہلے آٹھ سیشنز میں، جن سب کی رپورٹ دی گئی ہے، ماڈل نے پانچ میں ترمیم واپس لے لی اور تین جمع کرائیں۔ ان میں سے دو نے اسے 490 نئے مسائل پر نمایاں طور پر بہتر بنایا: +6.6 پوائنٹس (57.2% سے 63.8% تک) اور +4.0 پوائنٹس۔ بڑا فائدہ ایک حیرت انگیز حد تک سادہ تبدیلی سے آیا — ہر خطی توجہ کی تہہ (linear-attention layer) میں ایک ترتیب کو ذرا سا سرکانا — جس کے بعد کم جوابات کے ٹوکن ختم ہوئے۔ ایک مسئلے پر اصل ماڈل نے جواب دیے بغیر ایک ہی جملہ 549 بار دہرایا؛ ترمیم کے بعد اس نے درست جواب دیا۔ سب سے بڑے فوائد کے پیچھے ہر سیشن ایک واحد GPU پر چند گھنٹوں میں چلا۔
صرف سب سے بڑا ماڈل کامیاب ہوتا ہے
ایک ہی کام اور ایک ہی اوزار کے ساتھ، جسامت نے سارا فرق ڈال دیا۔ 2 ارب پیرامیٹرز والے ماڈل نے کوئی ترمیم نہیں کی: اس کا زیادہ تر کوڈ ناکام رہا۔ 4 اور 9 ارب والے ماڈلز نے اپنے اوزان میں بے ترتیب شور شامل کیا اور خود کو بگاڑ لیا؛ 9 ارب والے ماڈل نے تو ایک ایسی ترمیم بھی جمع کرا دی جس کے بعد وہ نئے مسائل کا جواب دینے کے قابل ہی نہیں رہا۔ صرف 27 ارب والے ماڈل نے عمل سے پہلے پیمائش کی اور وہی رکھا جس کی اس کی آزمائشیں تائید کرتی تھیں۔ مصنفین کے نزدیک یہ ماڈلز کے ایک خاندان کے اندر اس بات کا پہلا ثبوت ہے کہ اپنے ہی اوزان کی تشخیص کرنے اور انہیں دوبارہ لکھنے کی صلاحیت جسامت کے ساتھ بڑھتی ہے۔
یہ دعوے کس بنیاد پر کھڑے ہیں
نتائج ماڈلز کے ایک ہی خاندان سے اور زیادہ تر ریاضی کے مسائل سے حاصل ہوئے ہیں۔ فوائد بنیادی طور پر ان جوابات کو ٹھیک کرتے ہیں جو کبھی ختم نہیں ہوتے، اور جمع کرائی گئی تین ترامیم میں سے ایک سے کوئی نمایاں فائدہ نہیں ہوا۔ مرمت اس کا زیادہ تر حصہ واپس لاتی ہے جو خرابی نے چھین لیا تھا، سب کچھ نہیں۔ مصنفین ایک ایسے مستقبل کا تصور کرتے ہیں جس میں ماڈل کو بہتر بنانے کے لیے “تربیتی دور کے بجائے ایک گفتگو” درکار ہو، اور شاید ایسے ماڈلز کی طرف ایک راستہ جو خود کو بار بار بہتر بناتے رہیں۔ ان کا اصرار ہے کہ یہ راستہ انسانوں کو شامل رکھ کر (in the loop) اختیار کیا جانا چاہیے: ماڈل اپنا جو بھی نیا روپ بنائے، اسے کام کے ساتھ ساتھ حفاظت کے لحاظ سے بھی جانچا جائے، اور ایک انسان اس کی تصدیق کرے۔
