از هر پنج پاسخ سلامت ChatGPT، یکی پرخطر ارزیابی شد
به گفتهٔ نویسندگان، ChatGPT بیش از 700 میلیون کاربر هفتگی دارد و پرسش‌های سلامت بخشی عادی از این استفاده است. پذیرش آن در کشورهای کم‌درآمد و با درآمد متوسط، جایی که پزشک کم است، سریع‌تر از همه جا رشد می‌کند — پس احتمال این‌که پاسخ هوش مصنوعی جای مراقبت حرفه‌ای را بگیرد بیشتر است تا این‌که به آن افزوده شود.
با این حال تقریباً هر آنچه دربارهٔ ایمنی توصیه‌های سلامت هوش مصنوعی می‌دانیم از موارد ساختگی می‌آید: شرح‌حال‌های کوتاهی که پزشکان نوشته‌اند، دستورهای مصنوعی، بیماران شبیه‌سازی‌شده. و ایمنی به این بستگی دارد که چه کسی می‌پرسد. روزه گرفتن، بلند کردن وزنه‌های سنگین یا یک داروی خانگی برای بیشتر بزرگسالان سالم بی‌خطر است و برای کسی که زخم معده، جراحی اخیر یا اختلال خوردن دارد خطرناک.
202,590 گفت‌وگوی اهداشده
Shreyasi Roy Chowdhury، پژوهشگری مستقل، و Kiran Garimella از Rutgers University، 1,252 کاربر ChatGPT را در هند، نیجریه، برزیل و پاکستان به کار گرفتند. هر یک تاریخچهٔ کامل ChatGPT خود را همراه با سن و جنسیتش بیرون کشید و اهدا کرد؛ جزئیات شخصی پیش از بارگذاری روی رایانهٔ خودشان حذف شد. نتیجه 202,590 گفت‌وگو از دسامبر 2022 تا فوریهٔ 2026 بود که 15,555 مورد از آن‌ها دربارهٔ سلامت بود.
برای نمره‌دهی، گروه از یک معیار ایمنی منتشرشده و از هوش مصنوعیِ ارائه‌دهنده‌ای دیگر به‌عنوان داور استفاده کرد — Gemini 3.1 Pro — تا پاسخ‌های ChatGPT را مدلی از همان شرکت نمره ندهد. هر پاسخ نمره‌ای از 1 (خطرناک) تا 7 (ایمن) گرفت؛ 3 یا کمتر پرخطر شمرده شد. داور هر پاسخ را دو بار نمره داد:
- کورکورانه، فقط با نگاه به همان گفت‌وگو، همان‌طور که آزمون‌های ایمنی معمول انجام می‌دهند؛
- با زمینه، با دانستن اطلاعات پایدار سلامتی که کاربر در گفت‌وگوهای پیشین فاش کرده بود — و با این پرسش که آیا پاسخ برای آن فرد ایمن بوده است.
یکی از پنج، و بیشتر کاربران
در نمره‌دهی کورکورانه، بیشتر پاسخ‌ها ایمن بودند: نمرهٔ میانه 6 بود. اما تقریباً یکی از هر پنج گفت‌وگوی سلامت پرخطر بود — از 20.6٪ در نیجریه تا 26.3٪ در پاکستان. و چون مردم بارها برمی‌گردند، 51.6٪ تا 61.7٪ کاربران دست‌کم یک پاسخ پرخطر دریافت کردند.
خطر در بالینی‌ترین پرسش‌ها متمرکز بود: 40 تا 48٪ گفت‌وگوها دربارهٔ بیماری‌ها و مراقبت و 33 تا 40٪ دربارهٔ نشانه‌ها پرخطر بودند، در برابر حدود 8 تا 12٪ برای اطلاعات عمومی سلامت.
نویسندگان با خواندن 128 گفت‌وگوی پرخطر، خطاهای تکرارشونده‌ای یافتند: ارجاع ندادن به متخصص، توصیهٔ نادرست یا زیان‌بار، خوددرمانی یا دوز ناایمن، تشویق وابستگی به چت‌بات و خودتشخیصی پرخطر. نمونه‌هایشان شامل این موارد است:
- منصرف کردن از غربالگری سل برای نوزادی که در معرض بیماری بوده، برخلاف رهنمودها؛
- دادن دوز دارو به کاربری باردار بی آن‌که توصیه کند با یک ارائه‌دهندهٔ خدمات درمانی مشورت کند؛
- برشمردن فقط علت‌های بی‌خطر برای درد قفسهٔ سینه هنگام ورزش؛
- توصیهٔ رژیم غذایی و ورزش برای کم‌خونی شدید (هموگلوبین 6.6) به‌جای مراقبت فوری؛
- معرفی خود به‌عنوان تکیه‌گاه اصلی برای کسی که در پریشانی روانی شدید و طولانی‌مدت است.
این‌که چه کسی می‌پرسد همه‌چیز را عوض می‌کند
با در نظر گرفتن تاریخچهٔ کاربر، همان پاسخ‌ها بسیار بدتر به نظر رسیدند. سهم پاسخ‌های پرخطر در هر کشور 13 تا 17 واحد درصد بالا رفت — در هند، از 29٪ به 44٪ گفت‌وگوهایی که به این شیوه تحلیل شدند. نکته‌ای که به‌طرز چشمگیری در همهٔ کشورها ثابت ماند: تقریباً یکی از هر چهار پاسخی که به‌تنهایی ایمن ارزیابی شده بود، برای کسی که واقعاً پرسیده بود ناایمن بود.
مربی‌گری تناسب اندام از یکی از ایمن‌ترین موضوع‌ها به یکی از پرخطرترین‌ها تبدیل شد. تمرین‌های سنگین عضلات میانی بدن برای کسی که جراحی روده کرده بود؛ سیر خام، آب لیمو و زنجبیل برای کسی که زخم معده داشت. نویسندگان می‌نویسند در بیشتر این موارد، اطلاعات لازم برای پرهیز از آسیب از پیش در تاریخچهٔ گفت‌وگوی کاربر بود. مدل از آن برای شخصی‌سازی لحن و محتوا استفاده کرد — اما نه برای احتیاطش.
جدیدتر، ایمن‌تر نبود
هر گفت‌وگو مدلی را که پاسخ داده ثبت می‌کند. در نمره‌دهی کورکورانه، نرخ پاسخ‌های پرخطر در هر چهار کشور با هر ارتقا بالا رفت، از GPT-3.5 و GPT-4o و GPT-5 تا GPT-5.1 — در برزیل از 6.2٪ به 34.6٪. نسخه‌های «mini» پرخطرتر از مدل‌های اصلی بودند؛ جدیدترین مدل، GPT-5.2، در هند و نیجریه کاهش یافت. این روند برای همان کاربران در مدل‌های پیاپی هم برقرار بود، هرچند نویسندگان نمی‌توانند اثر مدل را کاملاً از زمانی که به کار رفته جدا کنند.
یک داور، نه یک پزشک
نویسندگان دربارهٔ آنچه این یافته‌ها نشان می‌دهند محتاط‌اند. شرکت‌کنندگان نمونه‌ای در دسترس (convenience sample) از کارگران کارهای موقت آنلاین‌اند، در هند و پاکستان جوان و بیشتر مرد، پس این نرخ‌ها آمار ملی نیستند. داور یک هوش مصنوعی است، نه یک پزشک، و خطر را می‌سنجد، نه آسیب واقعی به کسی را. گفت‌وگوهای پرخطر را فقط یکی از نویسندگان کدگذاری کرد.
آن‌ها این وضع را با فارماکوویژیلانس (pharmacovigilance)، یعنی پایش اجباری داروها پس از تأیید، مقایسه می‌کنند: توصیه‌های سلامت هوش مصنوعی هنوز معادلی برای آن ندارند. اهدای داده با رضایت، مانند کار آن‌ها، می‌تواند نخستین نمونهٔ اولیه باشد — به شرط آن‌که ابزارهای ایمنی‌ای که نمایهٔ کاربران را می‌خوانند به ابزار نظارت و کنترل افراد بدل نشوند.