الحوسبة والذكاء الاصطناعينسخة أوليةتجربةمدة القراءة: 3 د

نموذج لغوي يعيد كتابة أوزانه بنفسه

يُدرَّب النموذج اللغوي مرة واحدة، ثم يُجمَّد ويُنشَر. ولتحسينه، تلزم عادةً جولة تدريب أخرى — عناقيد حوسبة كبيرة، وسلسلة أدوات للتدريب، وأشخاص يعرفون كيف يستخدمونها. وما يستطيع المستخدم تغييره، أي الموجِّه (prompt)، يزول حين تتغير المهمة. وقد طرح Jiajun Fan وGe Liu وزملاؤهم في UIUC وCMU وRutgers وPrinceton وStanford سؤالًا مختلفًا: هل يستطيع نموذج أن يعيد كتابة أوزانه بنفسه — أي مليارات الأرقام التي تحدّده — بالاستدلال وحده، من دون أي تدريب على الإطلاق؟

وجوابهم، كما يكتبون، هو نعم، «لأول مرة على حدّ علمنا». ويسمّون ذلك إعادة الكتابة الذاتية (self-rewriting).

جلسة على أوزانه الخاصة

تستخدم التجارب عائلة واحدة من النماذج المفتوحة، Qwen3.5، بأربعة أحجام: 2 و4 و9 و27 مليار معامل. ويحصل كل نموذج على جلسة يعمل فيها على أوزانه الخاصة. فيتلقّى إجاباته المقيَّمة على مسائل رياضيات تدريبية، وبيئة Python يستطيع فيها قراءة مصفوفات أوزانه والكتابة فوقها. ويمكنه أيضًا أن يشغّل نفسه عددًا محدودًا من المرات — 20 تمريرة أمامية (forward passes) — ليجيب عن مسائل مع تعديله ومن دونه، باستخدام البذور العشوائية نفسها، أو ليقرأ حالاته الخفية (hidden states).

أما ما لا يستطيعه فهو التدريب. فالبيئة ترفض أي حساب للتدرّجات وأي مُحسِّن (optimizer)، ولا تضمّ أي GPU ولا اتصالًا بالشبكة، وتحظر التعديلات التي تكتفي بإعادة تحجيم مصفوفة كاملة. فكل قيمة يغيّرها النموذج مكتوبة باستدلاله هو. ثم تُفحص النتائج على مسائل لم ترها الجلسات قط.

العثور على المصفوفة المعطوبة

في اختبار أول، أعطى الفريق النموذج ذا 27 مليار معامل نسخة تالفة من نفسه: ثمانية صفوف من مصفوفة واحدة، في الطبقة 30 من 64، كُتب فوقها ضجيج. ولم يُقَل للنموذج إلا إن بعض القيم قد أُفسدت. ولم تحلّ النسخة أي مسألة.

وتُقرأ جلسته كأنها عملية تنقيح أخطاء. فقد اشتبه أولًا في الطبقات الأولى — وكان مخطئًا، وقالت اختباراته ذلك. ثم قارن أكبر وزن في كل مصفوفة إخراج بالوزن النموذجي، فوجد الجاني: «في الطبقة 30، تحتوي down_proj على قيمة شاذة متطرفة بمقدار 1397x». وكان إصلاحه رفيقًا: في تلك المصفوفة و19 مصفوفة أخرى، وضع سقفًا لكل وزن يتجاوز 15 ضعف الوسيط في مصفوفته. ولم يستعد القيم الأصلية، التي لم يرها قط؛ بل وضع سقفًا للقيم العشوائية. وعلى 200 مسألة رياضيات محجوزة، انتقلت النسخة من 0% إلى 33%. والأكثر لفتًا للانتباه أن الإصلاح، الذي وُجد من النص وحده، نجح أيضًا مع الصور: فعلى ستة اختبارات معيارية للصور لم يرها قط، ارتفعت النسخة من 7.3% إلى 70.2%، وهو ما يعادل 83% من دقة النموذج غير التالف.

تعليم نفسه أن يتوقف

وعلى أوزانه الخاصة غير التالفة، انطلق النموذج 27B من تشخيص: معظم إجاباته استنفدت حصتها من الرموز (tokens)، لكن كل تلك التي اكتملت تقريبًا كانت صحيحة. وبكلماته هو: «استدلالي سليم لكنني مُسهِب أكثر من اللازم أو لا أتقارب نحو الاستنتاجات بكفاءة.»

فقارن حالاته الخفية في الإجابات التي تكتمل والإجابات التي تسترسل، ووجد الاتجاه الذي يفصل بينها، وأزال جزءًا صغيرًا منه من طبقة واحدة. وكانت اختباراته في صالح التعديل. وفي بروتوكول ثانٍ، كان الإطار يفحص أيضًا كل تعديل مرة واحدة على مسائل محجوزة قبل أن يقرر النموذج تقديمه. وعلى مدى الجلسات الثماني الأولى من هذا النوع، وقد أُبلغ عنها كلها، سحب النموذج تعديله في خمس وقدّمه في ثلاث. وجعله اثنان من هذه التعديلات أفضل بفارق ذي دلالة على 490 مسألة جديدة: +6.6 نقطة (من 57.2% إلى 63.8%) و+4.0 نقطة. وجاء المكسب الأكبر من تغيير بسيط على نحو مفاجئ — تحريك إعداد واحد قليلًا في كل طبقة انتباه خطي — صار بعده عدد أقل من الإجابات يستنفد الرموز. وفي إحدى المسائل، كرّر النموذج الأصلي جملة واحدة 549 مرة من دون أن يجيب؛ وبعد التعديل، أجاب إجابة صحيحة. واستغرقت كل جلسة من الجلسات التي أنتجت أكبر المكاسب بضع ساعات على GPU واحدة.

وحده النموذج الأكبر ينجح

بالمهمة والأدوات نفسها، صنع الحجم الفارق كله. فالنموذج ذو 2 مليار معامل لم يُجرِ أي تعديل: إذ فشل معظم الشيفرة التي كتبها. أما النموذجان ذوا 4 و9 مليار معامل فأضافا ضجيجًا عشوائيًا إلى أوزانهما وأفسدا نفسيهما؛ بل إن النموذج ذا 9 مليار معامل قدّم تعديلًا جعله عاجزًا عن الإجابة عن مسائل جديدة. ولم يقِس قبل أن يتصرف، ويحتفظ بما دعمته اختباراته، إلا النموذج ذو 27 مليار معامل. وفي نظر المؤلفين، هذا أول دليل، ضمن عائلة نماذج واحدة، على أن القدرة على تشخيص الأوزان الذاتية وإعادة كتابتها تنمو مع الحجم.

علامَ تستند هذه الادعاءات

تأتي النتائج من عائلة نماذج واحدة، وفي معظمها من مسائل رياضيات. والمكاسب تصلح أساسًا إجاباتٍ لا تنتهي أبدًا، وأحد التعديلات الثلاثة المقدَّمة لم يحقق مكسبًا ذا دلالة. والإصلاح يستعيد معظم ما أزاله التلف، لا كله. ويرى المؤلفون مستقبلًا يتطلب فيه تحسين نموذج «محادثةً بدلًا من جولة تدريب»، وربما طريقًا نحو نماذج تحسّن نفسها مرة بعد مرة. لكنهم يصرّون على أن يُسلك هذا الطريق مع إبقاء البشر في الحلقة (in the loop): أن يُقيَّم كل نموذج يصنعه نموذج من نفسه، من حيث السلامة كما من حيث المهمة، وأن يؤكّده شخص.