کمپیوٹنگ تے مصنوعی ذہانتپری پرنٹتجربہپڑھن لئی ۵ منٹ

اک زبانی ماڈل اپنے وزن آپ مڑ لکھدا اے

اک زبانی ماڈل اک واری ٹرین کیتا جاندا اے، جما دتا جاندا اے تے ورتن لئی لا دتا جاندا اے۔ ایہنوں بہتر بنان لئی، عام طور تے اک ہور ٹریننگ (training run) لوڑیندی اے — کمپیوٹراں دے وڈے جُھرمٹ (clusters)، ٹریننگ دی اک پوری لڑی (pipeline) تے اوہ لوک جنہاں نوں ایہناں نوں ورتنا آندا اے۔ ورتن والے جیہڑی شے بدل سکدے نیں، یعنی پرامپٹ (prompt)، اوہ کم بدلدیاں ای مُک جاندی اے۔ UIUC، CMU، Rutgers، Princeton تے Stanford وچ Jiajun Fan، Ge Liu تے اوہناں دے ساتھیاں نے اک وکھرا سوال پچھیا: کیہ کوئی ماڈل صرف سوچ کے، بغیر کسے ٹریننگ دے، اپنے وزن آپ مڑ لکھ سکدا اے — اوہ ارباں عدد جیہڑے ایہنوں مِتھدے نیں؟

اوہناں دا جواب، اوہ لکھدے نیں، ہاں اے، «ساڈے علم مطابق پہلی واری»۔ اوہ ایہنوں آپ مڑ لکھائی (self-rewriting) آکھدے نیں۔

اپنے وزناں اُتے اک سیشن

تجربے کھلے ماڈلاں دے اکو ٹبر، Qwen3.5، نوں چار سائزاں وچ ورتدے نیں: 2، 4، 9 تے 27 ارب پیرامیٹر۔ ہر ماڈل نوں اپنے وزناں اُتے اک سیشن ملدا اے۔ ایہنوں مشق والے ریاضی دے مسئلیاں اُتے اپنے جانچے ہوئے جواب ملدے نیں، تے اک Python ماحول جیہدے وچ اوہ اپنے وزناں دے میٹرکس پڑھ تے اُتوں لکھ سکدا اے۔ اوہ اپنے آپ نوں گنتی دیاں کجھ واراں — 20 اگلیاں لنگھاں (forward passes) — چلا وی سکدا اے، تاں جے اپنی تبدیلی نال تے اوہدے بغیر، اوہناں ای بے ترتیب بیجاں (random seeds) نال، مسئلیاں دے جواب دیوے، یا اپنیاں لُکیاں حالتاں (hidden states) پڑھے۔

جیہڑی شے اوہ نہیں کر سکدا، اوہ ٹریننگ اے۔ ماحول گریڈینٹاں (gradients) دے کسے وی حساب تے کسے وی آپٹیمائزر (optimizer) نوں نہیں منندا، ایہدے کول نہ GPU اے نہ نیٹ ورک تیکر رسائی، تے ایہہ اوہ تبدیلیاں روک دیندا اے جیہڑیاں بس پورے میٹرکس دا پیمانہ بدلدیاں ہون۔ ماڈل جیہڑی وی قیمت بدلدا اے، اوہ ایہدی اپنی سوچ نال لکھی جاندی اے۔ فیر نتیجے اوہناں مسئلیاں اُتے پرکھے جاندے نیں جیہڑے سیشناں نے کدی نہیں ویکھے۔

ٹُٹیا ہویا میٹرکس لبھنا

پہلے ٹیسٹ وچ، ٹیم نے 27 ارب پیرامیٹراں والے ماڈل نوں اپنی اک خراب کیتی ہوئی نقل دتی: اک میٹرکس دیاں اٹھ قطاراں، 64 وچوں 30ویں پرت (layer) وچ، شور (noise) نال اُتوں لکھیاں ہوئیاں۔ ماڈل نوں صرف ایہہ دسیا گیا کہ کجھ قیمتاں خراب کر دتیاں گئیاں نیں۔ نقل کوئی وی مسئلہ حل نہیں کردی سی۔

ایہدا سیشن ڈیبگنگ (debugging) وانگ پڑھیا جاندا اے۔ پہلاں ایہنے مُڈھلیاں پرتاں اُتے شک کیتا — غلط، تے ایہدے اپنے ٹیسٹاں نے ایہو دسیا۔ فیر ایہنے ہر نکلن والے میٹرکس (output matrix) دے سب توں وڈے وزن دا عام وزن نال مقابلہ کیتا، تے اپنا دوشی لبھ لیا: «پرت 30 دے down_proj وچ اک انتہائی 1397x باہرلی قیمت (outlier) اے»۔ ایہدا علاج نرم سی: اوس میٹرکس تے 19 ہوراں وچ، ہر اوہ وزن جیہڑا اپنے میٹرکس دے وچکارلے (median) دے 15 گُنا توں ودھ سی، اوہنوں اوسے حد اُتے روک دتا۔ ایہنے اصلی قیمتاں بحال نہیں کیتیاں، جیہڑیاں ایہنے کدی ویکھیاں ای نہیں سن؛ ایہنے بے ترتیب قیمتاں اُتے چھت لا دتی۔ 200 پاسے رکھے (held-out) ریاضی دے مسئلیاں اُتے، نقل 0% توں ودھ کے 33% اُتے اپڑ گئی۔ ہور وی حیران کن گل: صرف لکھت اُتے لبھی گئی ایہہ مرمت تصویراں اُتے وی کم کر گئی: تصویراں دے چھ اجیہے بینچ مارکاں (benchmarks) وچ جیہڑے ایہنے کدی نہیں ویکھے سن، نقل 7.3% توں ودھ کے 70.2% اُتے چڑھ گئی، جیہڑا اَن خراب ماڈل دی درستی دا 83% اے۔

اپنے آپ نوں رُکنا سکھانا

اپنے، اَن خراب وزناں اُتے، 27B ماڈل نے اک تشخیص توں شروع کیتا: ایہدے بہتے جواباں دے ٹوکن (tokens) مُک جاندے سن، فیر وی جیہڑے جواب پورے ہوئے اوہناں وچوں لگ بھگ سارے صحیح سن۔ ایہدے اپنے لفظاں وچ: «میری سوچ ٹھیک اے پر میری گل لوڑ توں ودھ لمی ہو جاندی اے یا نتیجیاں تیکر چنگی طرح نہیں اپڑدی۔»

تاں ایہنے مُکن والے تے لمے چلدے جان والے جواباں اُتے اپنیاں لُکیاں حالتاں دا مقابلہ کیتا، اوہناں نوں وکھرا کرن والی سمت لبھی، تے اک پرت وچوں ایہدا اک نِکا جیہا حصہ کڈھ دتا۔ ایہدے ٹیسٹاں نے تبدیلی دے حق وچ گواہی دتی۔ اک دوجے طریقہ کار (protocol) وچ، ڈھانچے نے ہر تبدیلی نوں، ماڈل دے ایہنوں جمع کران دا فیصلہ کرن توں پہلاں، اک واری راکھویں مسئلیاں اُتے وی پرکھیا۔ اجیہے پہلے اٹھ سیشناں وچ، جنہاں سب دی رپورٹ دتی گئی اے، ماڈل پنج وچ پِچھے ہٹ گیا تے تن وچ تبدیلی جمع کرائی۔ اوہناں وچوں دو نے ایہنوں 490 نویں مسئلیاں اُتے نمایاں طور تے بہتر بنا دتا: +6.6 پوائنٹ (57.2% توں 63.8%) تے +4.0 پوائنٹ۔ سب توں وڈا وادھا اک حیران کن حد تیکر سادہ تبدیلی توں آیا — ہر لکیری توجہ والی پرت (linear-attention layer) وچ اک سیٹنگ نوں تھوڑا جیہا ہلانا — جیہدے مگروں گھٹ جواباں دے ٹوکن مُکے۔ اک مسئلے اُتے، اصلی ماڈل نے جواب دتے بغیر اکو جملہ 549 واری دوہرایا؛ تبدیلی توں بعد، ایہنے صحیح جواب دتا۔ سب توں وڈے وادھیاں پِچھے ہر سیشن اک اکلے GPU اُتے کجھ گھنٹیاں وچ چلیا۔

صرف سب توں وڈا ماڈل کامیاب ہوندا اے

اوسے کم تے اوہناں ای اوزاراں نال، سائز نے سارا فرق پایا۔ 2 ارب پیرامیٹراں والے ماڈل نے کوئی تبدیلی نہ کیتی: ایہدا بہتا کوڈ ناکام رہیا۔ 4 تے 9 ارب والے ماڈلاں نے اپنے وزناں وچ بے ترتیب شور پا دتا تے اپنے آپ نوں توڑ لیا؛ 9 ارب والے ماڈل نے تاں اک اجیہی تبدیلی وی جمع کرا دتی جیہنے ایہنوں نویں مسئلیاں دے جواب دین جوگا نہ چھڈیا۔ صرف 27 ارب والے ماڈل نے کجھ کرن توں پہلاں ناپیا تے اوہو رکھیا جیہدی ایہدے ٹیسٹاں نے حمایت کیتی۔ لکھاریاں لئی، ایہہ ماڈلاں دے اکو ٹبر دے اندر پہلا ثبوت اے کہ اپنے وزناں دی تشخیص کرن تے اوہناں نوں مڑ لکھن دی صلاحیت سائز نال ودھدی اے۔

دعوے کس گل اُتے ٹِکے نیں

نتیجے ماڈلاں دے اکو ٹبر توں آندے نیں تے بہتے ریاضی دے مسئلیاں توں۔ وادھے بہتے اوہناں جواباں نوں ٹھیک کردے نیں جیہڑے کدی مُکدے ای نہیں، تے جمع کرائیاں گئیاں تن تبدیلیاں وچوں اک نے کوئی خاص وادھا نہ دتا۔ مرمت اوس دا بہتا حصہ واپس لیاندی اے جو خرابی نے کھو لیا سی، سارا نہیں۔ لکھاری اک اجیہا مستقبل ویکھدے نیں جیہدے وچ کسے ماڈل نوں بہتر بنان لئی «ٹریننگ دی بجائے اک گل بات» لوڑیندی اے، تے شاید اجیہے ماڈلاں ول اک راہ جیہڑے اپنے آپ نوں بار بار بہتر بناندے رہن۔ اوہ زور دیندے نیں کہ ایہہ راہ لوکاں نوں نال رکھ کے (in the loop) ای اختیار کیتا جانا چاہیدا اے: ہر اوہ ماڈل جیہڑا کوئی ماڈل اپنے آپ توں بناندا اے، کم دے نال نال حفاظت لئی وی جانچیا جاوے، تے کوئی انسان اوہدی تصدیق کرے۔