GPT-5 يتعرّف على كتابته أفضل منا

في اختبار تورينغ الأصلي، يتبادل محقق بشري رسائل مكتوبة ويحاول التمييز بين رجل وامرأة. وفي لحظة ما، يُستبدل الرجل بآلة. فإذا ظل المحقق عاجزًا عن التمييز بين الآلة والمرأة، قيل إن الآلة اجتازت الاختبار. أراده تورينغ تجربة فكرية فلسفية، لكنه ظل لعقود معيارًا للذكاء الاصطناعي — وقد أحيت الادعاءات الأخيرة بأن روبوتات محادثة مثل ChatGPT اجتازته أخيرًا سؤالًا قديمًا: ماذا يُثبت اجتيازه حقًا؟

طريقتان لخداع الحَكَم

يشير فريق تقوده كريستينا بيكيو (Cristina Becchio) في المركز الطبي الجامعي هامبورغ-إيبندورف إلى أن المحقق المخدوع قد يعني أمرين مختلفين تمامًا.

• إخفاق في الترميز. تتداخل إجابات الآلة مع الإجابات البشرية إلى حد أن النص لم يعد يحمل أي دليل على مصدره. ولا يستطيع أي مراقب، مهما بلغت براعته، أن يتفوق على الصدفة. وهذه ستكون نتيجة قوية.
• إخفاق في القراءة. الأدلة موجودة في النص، لكن المحقق لا يلتقطها. وقد ينجح حَكَم آخر — حَكَم اصطناعي مثلًا. وعندها يقول الاختبار عن الحَكَم أكثر مما يقول عن الآلة.

يخلط الاختبار الكلاسيكي بين الأمرين. ويضيف المؤلفون مستوى ثالثًا، هو ما وراء القراءة (meta-readout): هل يستطيع الحَكَم أن يقول بشكل صحيح أي الأدلة وجّهت قراره هو؟

قصص غريبة، وإجابتان

لفصل هذه المستويات، عكس الفريق اختبار تورينغ: فجلس البشر وأنظمة الذكاء الاصطناعي كلاهما على كرسي المحقق. وجاءت المادة من اختبار القصص الغريبة (Strange Stories)، وهو مجموعة من ثمانية مواقف اجتماعية قصيرة — خداع، وسخرية، وإقناع، وسوء فهم — ينتهي كل منها بسؤال عما يفكر فيه أحد الشخصيات أو عن سبب تصرفه. وكان البشر ونماذج GPT قد أجابوا عنها، ولم يُحتفظ إلا بالإجابات الصحيحة، حتى لا يتمكن الحَكَم من كشف الآلة من خلال استدلال خاطئ.

رأى كل محقق قصة وإجابتين عنها، إحداهما بشرية والأخرى من الذكاء الاصطناعي، ثم كان عليه أن يختار إما الإجابة البشرية وإما إجابة الذكاء الاصطناعي، وأن يقيّم مدى ثقته، وأن يشرح اختياره كتابةً. في السلسلة الأولى من الدراسات، حكم البشر وGPT-4 على إجابات GPT-4؛ وفي الثانية، حكم البشر وGPT-5 على إجابات GPT-5. وشارك إجمالًا 3,824 شخصًا عبر منصة Prolific، أصدر كل منهم حكمًا واحدًا، وقوبلوا بعدد مماثل من تشغيلات النماذج.

قيس الأداء بمؤشر يسمى الحساسية، d′: الصفر يعني التخمين، والقيمة الأعلى تعني تمييزًا أفضل، والقيمة السالبة تعني أن الحَكَم يخطئ بشكل منهجي.

البشر يتعثرون، وGPT-5 يزداد حدّة

أمام GPT-4، كان أداء البشر جيدًا إلى حد معقول، إذ بلغ d′ لديهم 1.36 حين طُلب منهم العثور على إجابة الذكاء الاصطناعي، و1.10 حين طُلب منهم العثور على الإجابة البشرية. وكان GPT-4 بوصفه حَكَمًا أضعف، وفي مهمة «العثور على الإنسان» جاءت نتيجته سالبة، عند −1.11: إذ أشار إلى الإجابة الخطأ أكثر مما أشار إلى الصحيحة.

أمام GPT-5، تراجع البشر في السلسلة الثانية إلى 0.77 و0.27 — أي ما زالوا فوق الصدفة، لكن بالكاد في مهمة الإنسان. أما GPT-5 بوصفه حَكَمًا فقد فعل العكس، إذ بلغ 2.09 و2.01، متفوقًا بفارق كبير على البشر في المهمتين.

الأدلة لم تختفِ قط

هل كان تراجع البشر إخفاقًا في الترميز؟ للتحقق من ذلك، قاس الباحثون 12 سمة في كل إجابة — الطول، والتفصيل، والأخطاء المطبعية، والتكرار، وعلامات الترقيم، وسهولة القراءة، والنبرة التحليلية أو الحوارية، وغيرها — ودرّبوا نموذجًا إحصائيًا بسيطًا على تخمين المصدر انطلاقًا منها. فاختار المصدر الصحيح في 98.3% من المرات مع إجابات GPT-4 («دقة متوازنة» قدرها 0.983، تُحسب بأخذ متوسط نجاحه في ترتيبَي عرض الإجابتين) وفي 92.5% مع GPT-5. فـGPT-5 يبدو أكثر بشرية، لكن المعلومة لا تزال موجودة.

ما تغيّر هو الأدلة التي تحملها. فقد كان GPT-4 يفضح نفسه أساسًا بـإجاباته الأطول وأخطائه المطبعية الأقل وتكراره الأكثر. ومع GPT-5 تقلّصت فجوة الطول بشدة، بينما صارت علامات الترقيم الأكثف والأخطاء المطبعية الأقل هي العلامات الكاشفة. وظل الحكام البشر يعتمدون على الطول — وهي عادة، كما يرجّح المؤلفون، ضُبطت على روبوتات المحادثة الأقدم. أما من قالوا إنهم يستخدمون روبوتات المحادثة كثيرًا فقد حدّثوا معارفهم جزئيًا: ففي مهمة «العثور على الذكاء الاصطناعي» أعطوا علامات الترقيم والأخطاء المطبعية وزنها الصحيح. في الأثناء، ربط GPT-5 كثافة علامات الترقيم والتكرار بالذكاء الاصطناعي، والأخطاء المطبعية بالبشر، بما يطابق الفروق الحقيقية مطابقة شبه تامة.

أدلة صحيحة، واتجاهات خاطئة

قارن المستوى الأخير بين ما كتبه الحكام في شروحهم وما اعتمدت عليه اختياراتهم فعلًا. وهنا ينقلب الترتيب. فقد تطابقت شروح البشر مع اختياراتهم تطابقًا جيدًا نسبيًا (توافق قدره نحو 0.63 في سلسلة GPT-4، على مقياس يعني فيه الرقم 1 أن الشروح والاختيارات تشير إلى الاتجاه نفسه). أما GPT-5 فسمّى كثيرًا من السمات التي استخدمها فعلًا، لكنه أخطأ في اتجاه بعضها: ففي المهمتين، قال إن النبرة الأكثر تحليلية وسهولة القراءة الأعلى والتفصيل الأكثر تشير إلى الذكاء الاصطناعي، بينما ربطت اختياراته السمات الثلاث بالإجابات البشرية. وكانت شروحه أقل تطابقًا بكثير مع أوزانه الفعلية مما كانت عليه شروح البشر.

لا يقرأ المؤلفون ذلك على أنه اختلاق محض بعد وقوع الأمر، إذ ظلت شروح GPT-5 فوق الصدفة في المقياسين كليهما؛ فعدم التطابق يقتصر على سمات قليلة. لكنهم يحذّرون من أن مثل هذه الفجوة الموضعية قد تخلق وهمًا بالتوافق لدى المستخدمين الذين يعتمدون على شروح النموذج.

تشمل الدراسة نموذجين من OpenAI، حكم كل منهما على إجابات من جيله، في ثماني قصص قصيرة. وعلى مقياس التوافق ذاك، سجّل GPT-5 قيمة 0.297 في إحدى المهمتين و0.296 في الأخرى، أي أقل من البشر بفارق ذي دلالة — مع انعكاس السمات الثلاث نفسها في المرتين.