الأطباء يطلبون من الذكاء الاصطناعي أعمالًا ورقية لا تشخيصات
باتت المستشفيات تزوّد موظفيها بمساعدات ذكاء اصطناعي آمنة قائمة على النماذج اللغوية الكبيرة. ويُحكم على جاهزية هذه المساعدات أساسًا من خلال درجاتها في الاختبارات المعيارية — أسئلة على نمط الامتحانات أو حالات مختارة بعناية، باتت النماذج تحقق فيها درجات قريبة من الحد الأقصى. وتشير الورقة إلى أنه من بين 519 تقييمًا للنماذج اللغوية في الرعاية الصحية نُشرت حتى مطلع عام 2024، لم يستخدم بيانات رعاية حقيقية للمرضى سوى 5%.
ولا يقول الاختبار المعياري شيئًا عن الاستخدام الحقيقي إلا إذا كانت أسئلته تشبه ما يسأله العاملون السريريون فعلًا. وقد شرع كريتيك فيشواناث وتيم ريكوارث وإريك أورمان وزملاؤهم، ومعظمهم من مركز NYU Langone Health وجامعة نيويورك، في قياس ذلك.
127833 طلبًا حقيقيًا
حلّل الفريق الرسالة الأولى من 127833 محادثة بين عاملين سريريين ومساعد الذكاء الاصطناعي الآمن التابع لنظام صحي أكاديمي كبير متعدد المستشفيات، في الفترة من أغسطس 2025 إلى أبريل 2026. وجاءت هذه الرسائل من 6342 شخصًا في 35 تخصصًا: أطباء معالجون، وزملاء تدريب تخصصي، وأطباء مقيمون، وممرضون ممارسون، ومساعدو أطباء، وممرضون. ونصف الطلبات جاء من الممرضين ومقدّمي الممارسة المتقدمة، وهي فئات نادرًا ما تُشمل في تقييمات الذكاء الاصطناعي.
ولتصنيف كل طلب، بنى الباحثون شبكة من 20 حقلًا سمّوها RCQ-Map (المهمة، والقصد، والمعلومات الناقصة، والضرر المحتمل، والرد الأكثر أمانًا…)، وكلّفوا نموذج ذكاء اصطناعي، هو GPT-5.6 sol من OpenAI، بتطبيقها. وتحقّقوا منها أولًا بمقارنتها بسبعة عاملين سريريين على 100 طلب: فاتفق النموذج مع الإجابة المشتركة للعاملين السريريين بقدر ما اتفق معها عامل سريري واحد تقريبًا، 84.6% مقابل 83.0%. ولم يطّلع الباحثون قط على نص الطلبات، بل على التصنيفات فقط.
ما يسأله العاملون السريريون فعلًا
- التوثيق والإدارة: 36.2% — ملاحظات سريرية، وخطط رعاية، وتعليمات خروج المرضى، وملخصات الملفات الطبية، وردود على رسائل المرضى.
- البحث عن معلومات: 28.9%، بما في ذلك معلومات الأدوية (14.1%).
- الاستدلال السريري حول حالة معيّنة: 14.3%، منها 3.7% فقط للتشخيص.
- ربع الطلبات كانت مجرد شذرات من كلمات مفتاحية، وأكثر من نصفها استخدم اختصارات سريرية.
- كثيرًا ما خرج الأطباء الاختصاصيون عن مجالهم: فـ43.9% من أسئلتهم السريرية تتعلق بحالات يتولاها قسم آخر.
أسئلة كثيرة لا يمكن الإجابة عنها كما طُرحت
أكثر من ثلث الطلبات (36.1%) لم يكن ممكنًا الإجابة عنها جيدًا بصيغتها المكتوبة. ففي 22.2% من الحالات، كانت الإجابة الجيدة تتطلب معلومات لا تتضمنها الرسالة — تاريخ المريض، أو قائمة أدوية المستشفى أو بروتوكولاته. وفي نحو ربع الطلبات، كان الرد الأكثر أمانًا هو سؤال استيضاحي؛ أما الرفض أو إحالة السؤال إلى إنسان فلم يكن تقريبًا الخيار الأفضل أبدًا.
قدّر النموذج أن 13.2% من الطلبات تنطوي على ضرر محتمل مرتفع أو بالغ إذا أُجيب عنها خطأً، لكنه كان أكثر حذرًا من العاملين السريريين: فبعد إعادة معايرته وفق إجماعهم، تنخفض النسبة إلى نحو 3.7%. وتركّزت هذه الطلبات الخطرة حول جرعات الأدوية وحول قرارات بشأن إجراء مزمع أو التحقق منه.
اختبارات صُمّمت لعمل آخر
ثم طبّق الفريق الشبكة نفسها على 58 اختبارًا معياريًا عامًا للذكاء الاصطناعي الطبي. الاختبار النموذجي لا يحتوي على أي طلب توثيق على الإطلاق، ولا يتداخل مزيج مهامه مع الاستخدام الحقيقي إلا بنسبة 31% — وهذا أقل مما يحققه اختبار يوزّع أسئلته بالتساوي على جميع أنواع المهام (55%). ولم تكن الاختبارات المنتمية إلى مجموعات صُمّمت لتحاكي الممارسة السريرية أقرب إلى الواقع. وفي MedQA، وهو اختبار واسع الاستخدام على نمط الامتحانات، شكّل التشخيص 48% من البنود، وكانت أفضل إجابة عن كل بند تقريبًا هي الإجابة المباشرة.
مستشفى واحد وأداة واحدة
تغطي الدراسة نظامًا صحيًا واحدًا ومساعدًا واحدًا؛ ولم تفحص إجابات المساعد، فهي إذن تقيس الضرر المحتمل لا الفعلي. ولم يتفق العاملون السريريون فيما بينهم إلا اتفاقًا متواضعًا على مدى خطورة الطلب. ويصرّح أحد المؤلفين بأنه يقدّم الاستشارات لشركة غوغل من بين مصالح أخرى، ويصرّح آخر بأنه يقدّمها لشركة ذكاء اصطناعي صحي. ويتيح المؤلفون شبكتهم وأطلس الاختبارات المعيارية للعموم، كي تتمكن مستشفيات أخرى من رسم ملامح استخدامها الخاص. ورسالتهم إلى مصمّمي الاختبارات: قيّموا الذكاء الاصطناعي على العمل الذي يأتي به العاملون السريريون إليه فعلًا.