الحوسبة والذكاء الاصطناعينسخة أوليةمحاكاةمدة القراءة: 4 د

حين ينسخ الذكاء الاصطناعي ذكاءً اصطناعيًا، لا بد أن يواصل أحدٌ التعلّم

درِّب نموذجًا توليديًا على مخرجات نموذج سابق، فيتدهور. فعبر الأجيال المتعاقبة، يختفي المحتوى الأندر قبل الشائع، ويضيق ما ينتجه النموذج. وظاهرة انهيار النموذج (model collapse) هذه مدروسة جيدًا اليوم — وكذلك علاجاتها. فكل العلاجات الناجعة تُدخل شيئًا من خارج الحلقة: بيانات بشرية جديدة، أو بيانات حقيقية محتفَظ بها، أو أدوات تحقق (verifiers)، أو انتقاء بشري (curation).

ويلفت بحث نام لي (Nam Le)، في علوم الحاسوب بجامعة فيرمونت، إلى ما تعدّه تلك التحليلات من المسلّمات. فهي تعامل البيانات الجديدة كأرشيف ثابت، متاح بأي كمية مطلوبة، وتفترض أن العالم الموصوف ساكن لا يتغير. ولا شيء من ذلك صحيح: فالنصوص الجديدة يكتبها أناس يسألون النماذج أكثر فأكثر بدل أن يكتشفوا الأشياء بأنفسهم؛ والعالم لا يكفّ عن التغيّر.

مفارقة قديمة

والمسألتان كلتاهما في صميم نظرية أقدم. ففي 1988، وُصف في عمل لروجرز (Rogers) ما يُسمّى اليوم مفارقة روجرز: في جماعة ينتشر فيها النَّسخ لأنه أرخص على الفرد من التعلّم، لا يصبح أحد في النهاية أفضل حالًا مما في جماعة لم تنسخ قط. فالنُّسَخ تبلى، ولا بد أن يواصل أحدٌ دفع ثمن التعلّم.

وقد صقلت أعمال لاحقة في التطور الثقافي هذه الفكرة. فالمتعلّم الناقد ينسخ، ثم يقارن النسخة بالعالم، ويتعلّم بنفسه إن أخفقت؛ ومتعلّمون كهؤلاء يرفعون عائد الجميع. أما المتعلّم الامتثالي (conformist) فينسخ ما هو شائع، وهذا رخيص لكنه يُبلي البدائل النادرة.

وحجة لي أن تدريب نموذج على مخرجات نموذج آخر تعلّمٌ اجتماعي بهذا المعنى بالضبط، فينبغي أن تنطبق النظرية. وفي أبسط صورها، تعطي قاعدة من سطر واحد لمقدار المعرفة التي تحتفظ بها سلالة (lineage) من النماذج حين تكون حصة من بيانات تدريبها جديدة.

داروين وموبي ديك، منسوخان من جديد

ولاختبار ذلك، دُرّبت في البحث سلالات من النماذج اللغوية الصغيرة على كتابين من مشروع غوتنبرغ (Project Gutenberg): أصل الأنواع (On the Origin of Species) لداروين، وموبي ديك (Moby-Dick) لملفيل. وتعلّم كل جيل من نصوص أنتجها الجيل السابق، ممزوجة ببعض النصوص الجديدة من الكتاب.

وحين لم تُغذَّ إلا بمخرجاتها، فقدت نماذج قائمة على الكلمات أربع كلمات نادرة من كل خمس في اثني عشر جيلًا. فعيّنة من الجيل الأول لا تزال تقول «i cannot see that a genus become fitted for most justly celebrated elder huber»؛ وفي الجيل الثاني عشر: «struggle of the on that may inheritable detected i hybrids, kept.»

واللافت هو التنبؤ. فقد ضُبط المعامل الوحيد للقاعدة — احتمال أن تضيع قطعة معرفة منسوخة في كل جيل — على السلالة المغذّاة ذاتيًا بالكامل وحدها، ثم استُخدم كما هو، دون تغيير، للتنبؤ بسلالات فيها 10% أو 30% أو 50% من البيانات الجديدة. فطابق عدد الكلمات النادرة التي احتفظت بها في حدود 3 نقاط مئوية. ومع إضافة صنف ثانٍ من المعرفة، الهشّة مقابل المتينة، صمدت القاعدة أيضًا مع محوّل (transformer) صغير ومع نموذج لغوي مُدرَّب مسبقًا، هو OPT-125m.

حين يتحرك العالم

بعد ذلك، جُعل «العالم» نفسه يتغير: نافذة تنزلق عبر الكتابين، فتظل مفردات جديدة تصل وكلمات قديمة ترحل. وكلما أسرعت حركتها، احتاجت السلالة الناسخة لذاتها إلى مزيد من البيانات الجديدة. وللاحتفاظ بـ80% مما تغطيه مدوّنة (corpus) جديدة بالكامل، كان على الحصة الجديدة أن ترتفع من نحو 30% إلى نحو 45%. ويتنبأ البحث بأن المجالات السريعة التغيّر ستكون أول ما يتدهور مع تراكم النصوص الاصطناعية.

أما النموذج المُدرَّب مسبقًا فتصرّف على نحو مختلف: صمدت معرفته سواء تحرك العالم أم لا. وقراءة لي أن أوزانه المُدرَّبة مسبقًا، الموروثة دون تغيير في كل جيل، معرفةٌ لا تمرّ أبدًا عبر سلسلة النسخ. مع تحفّظ: فالنص المتحرك هنا نصٌّ سبق للنموذج أن رآه أثناء التدريب المسبق.

الناس في الحلقة

ثم يأتي الجزء الذي يمنح البحث عنوانه. فقد بُني في البحث نموذج يستطيع فيه الناس إما أن يكتشفوا حقيقة ما بأنفسهم، بكلفة، وإما أن يسألوا الذكاء الاصطناعي مجانًا فيصيبوا بقدر ما يصيب هو فقط. وما يكتبه الناس يصبح بيانات تدريب النموذج التالي، إلى جانب بعض النصوص التي يكتبها النموذج نفسه.

والتوازن صارخ:

  • ينتهي الذكاء الاصطناعي مصيبًا بالقدر الذي يكفي فقط لكي يعود سؤاله بالفائدة نفسها تمامًا التي يعود بها الاكتشاف بنفسك، بعد احتساب كلفة الاكتشاف — أيًّا كان حجمه أو بنيته؛
  • الناس في مجموعهم ليسوا أفضل حالًا مما لو لم يوجد الذكاء الاصطناعي: مفارقة روجرز، للبشر والآلات معًا؛
  • كلما زادت حصة نص التدريب التي تكتبها النماذج بنفسها، زاد عدد الناس الذين يجب أن يواصلوا التعلّم بأنفسهم — ضعف العدد حين يكون نصف النص من كتابة النماذج. والبيانات الجديدة، كما يخلص البحث، يُدفع ثمنها جهدًا بشريًا.

ثمة مخرج. فإن تحقق الناس من إجابة الذكاء الاصطناعي بمقارنتها بالعالم وأعادوا التعلّم حين تكون خاطئة، انكسرت المفارقة: ففي المحاكاة، يستقر متوسط العائد عند 0.93، مقابل 0.70 بدون الذكاء الاصطناعي. والأدوات التي تجعل التحقق رخيصًا ليست، من هذا المنظور، وسيلة راحة، بل هي ما يحمي المنظومة كلها من الانهيار.

مرشِّحات تزيد الأمر سوءًا

والعدسة نفسها تفرز المرشِّحات المستخدمة لتنظيف البيانات الاصطناعية. فالإبقاء على العيّنات التي يراها النموذج الأكثر معقولية نسخٌ امتثالي، وقد سرّع في التجارب فقدان الكلمات النادرة: إذ احتفظ النموذج المُدرَّب مسبقًا بـ5% منها، مقابل 57% حين أُبقي على نصف العيّنات عشوائيًا. ولا تتصرف كالمتعلّمين النقّاد إلا المرشِّحات التي تقارن النص بالعالم. وقد بُيّن كل ذلك بنماذج صغيرة، أكبرها بـ125 مليون معامل، ويعدّ البحث اختبار ذلك على نطاق واسع السؤال المفتوح الأهم.