پزشکان از هوش مصنوعی کارهای اداری می‌خواهند، نه تشخیص
بیمارستان‌ها اکنون دستیارهای هوش مصنوعی ایمنی مبتنی بر مدل‌های زبانی بزرگ در اختیار کارکنانشان می‌گذارند. این‌که این دستیارها آماده‌اند یا نه، بیشتر با نمره‌های محک (benchmark) سنجیده می‌شود — پرسش‌هایی به سبک امتحان یا مواردی که با دقت گزینش شده‌اند و مدل‌ها اکنون در آن‌ها نزدیک به نمرهٔ کامل می‌گیرند. مقاله یادآوری می‌کند که از ۵۱۹ ارزیابی مدل‌های زبانی در حوزهٔ سلامت که تا اوایل ۲۰۲۴ منتشر شده بود، تنها ۵٪ از داده‌های واقعی مراقبت از بیمار استفاده کرده بودند.
یک محک تنها زمانی دربارهٔ استفادهٔ واقعی چیزی می‌گوید که پرسش‌هایش به آنچه کادر درمان واقعاً می‌پرسند شبیه باشد. کریتیک ویشوانات، تیم رکوارت، اریک اورمان و همکارانشان، که بیشترشان در NYU Langone Health و دانشگاه نیویورک هستند، به سراغ سنجش همین رفتند.
۱۲۷٬۸۳۳ درخواست واقعی
گروه نخستین پیام ۱۲۷٬۸۳۳ گفت‌وگو میان کادر درمان و دستیار هوش مصنوعی ایمنِ یک نظام سلامت دانشگاهی بزرگ و چندبیمارستانی را، از اوت ۲۰۲۵ تا آوریل ۲۰۲۶، تحلیل کرد. این پیام‌ها از ۶۳۴۲ نفر در ۳۵ تخصص آمده بود: پزشکان متخصص، فلوشیپ‌ها، دستیاران تخصصی، پرستاران کارشناس بالینی (nurse practitioner)، دستیاران پزشک و پرستاران. نیمی از درخواست‌ها از پرستاران و ارائه‌دهندگان سطح پیشرفته بود؛ گروه‌هایی که به‌ندرت در ارزیابی‌های هوش مصنوعی گنجانده می‌شوند.
پژوهشگران برای برچسب‌گذاری هر درخواست، جدولی ۲۰ فیلدی به نام RCQ-Map ساختند (کار، نیت، اطلاعات ناموجود، آسیب احتمالی، ایمن‌ترین پاسخ…) و آن را به یک مدل هوش مصنوعی، GPT-5.6 sol از OpenAI، سپردند تا اعمال کند. آن‌ها ابتدا این کار را روی ۱۰۰ درخواست با هفت نفر از کادر درمان مقایسه کردند: مدل تقریباً به همان اندازه با پاسخ مشترک کادر درمان موافق بود که یک فرد از کادر درمان، ۸۴٫۶٪ در برابر ۸۳٫۰٪. پژوهشگران هرگز متن درخواست‌ها را ندیدند، فقط برچسب‌ها را.
کادر درمان واقعاً چه می‌پرسند
- مستندسازی و امور اداری: ۳۶٫۲٪ — یادداشت‌های بالینی، برنامه‌های مراقبت، دستورهای ترخیص، خلاصهٔ پرونده‌ها، پاسخ به پیام‌های بیماران.
- جست‌وجوی دانش: ۲۸٫۹٪، از جمله اطلاعات دارویی (۱۴٫۱٪).
- استدلال بالینی دربارهٔ یک وضعیت: ۱۴٫۳٪، که تشخیص تنها ۳٫۷٪ آن بود.
- یک‌چهارم درخواست‌ها تنها تکه‌هایی از کلیدواژه‌ها بودند و بیش از نیمی از آن‌ها اختصارهای بالینی داشتند.
- متخصصان اغلب از حوزهٔ خود بیرون می‌رفتند: ۴۳٫۹٪ از پرسش‌های بالینی آن‌ها به بیماری‌هایی مربوط بود که بخش دیگری مدیریتشان می‌کند.
بسیاری از پرسش‌ها را نمی‌توان به همان شکل پاسخ داد
بیش از یک‌سوم درخواست‌ها (۳۶٫۱٪) را نمی‌شد به همان شکلی که نوشته شده بودند به‌خوبی پاسخ داد. در ۲۲٫۲٪ موارد، پاسخ خوب به اطلاعاتی نیاز داشت که در پیام نبود — سابقهٔ بیمار، فهرست داروهای بیمارستان یا پروتکل‌های آن. برای حدود یک‌چهارم درخواست‌ها، ایمن‌ترین پاسخ یک پرسش روشن‌کننده بود؛ رد کردن یا سپردن پرسش به یک انسان تقریباً هرگز بهترین گزینه نبود.
مدل ۱۳٫۲٪ از درخواست‌ها را در صورت پاسخ نادرست دارای آسیب احتمالی زیاد یا بحرانی ارزیابی کرد، اما محتاط‌تر از کادر درمان بود: پس از تنظیم دوباره بر اساس اجماع آن‌ها، این رقم به حدود ۳٫۷٪ می‌رسد. این درخواست‌های پرخطر حول دوز داروها و حول تصمیم‌ها یا بررسیِ یک اقدام برنامه‌ریزی‌شده متمرکز بودند.
آزمون‌هایی که برای کار دیگری ساخته شده‌اند
سپس گروه همان جدول را روی ۵۸ محک عمومی هوش مصنوعی پزشکی اعمال کرد. محک معمول هیچ درخواست مستندسازی‌ای نداشت و ترکیب کارهایش تنها ۳۱٪ با استفادهٔ واقعی همپوشانی داشت — کمتر از محکی که پرسش‌هایش را به‌طور یکنواخت میان همهٔ انواع کار پخش کند (۵۵٪). محک‌هایی که از مجموعه‌های طراحی‌شده برای شباهت به کار بالینی می‌آمدند هم نزدیک‌تر نبودند. در MedQA، آزمونی پرکاربرد به سبک امتحان، تشخیص ۴۸٪ از پرسش‌ها را تشکیل می‌داد و تقریباً همهٔ پرسش‌ها بهتر بود مستقیم پاسخ داده شوند.
یک بیمارستان، یک ابزار
این پژوهش تنها یک نظام سلامت و یک دستیار را در بر می‌گیرد؛ پاسخ‌های دستیار را بررسی نکرد، پس آسیب بالقوه را می‌سنجد نه آسیب واقعی را. کادر درمان دربارهٔ میزان خطرناک بودن یک درخواست تنها اندکی با یکدیگر توافق داشتند. یکی از نویسندگان، در کنار منافع دیگر، مشاوره به Google را اعلام کرده و دیگری مشاوره به یک شرکت هوش مصنوعی سلامت را. نویسندگان جدول و اطلس محک‌هایشان را منتشر می‌کنند تا بیمارستان‌های دیگر بتوانند الگوی استفادهٔ خود را ترسیم کنند. پیام آن‌ها به سازندگان آزمون‌ها: هوش مصنوعی را بر اساس کاری ارزیابی کنید که کادر درمان واقعاً به آن می‌سپارند.