ڈاکٹر مصنوعی ذہانت سے تشخیص نہیں، کاغذی کارروائی مانگتے ہیں

ہسپتال اب اپنے عملے کو بڑے لسانی ماڈلز پر مبنی محفوظ مصنوعی ذہانت معاون فراہم کرتے ہیں۔ یہ معاون تیار ہیں یا نہیں، اس کا فیصلہ زیادہ تر بینچ مارک اسکور سے کیا جاتا ہے — امتحانی طرز کے سوالات یا احتیاط سے چنے گئے کیسز، جن پر ماڈلز اب تقریباً پورے نمبر حاصل کر لیتے ہیں۔ مقالے میں بتایا گیا ہے کہ 2024 کے آغاز تک صحت کے شعبے میں لسانی ماڈلز کی جو 519 جانچیں شائع ہوئیں، ان میں سے صرف 5% نے مریضوں کی دیکھ بھال کا حقیقی ڈیٹا استعمال کیا۔

کوئی بینچ مارک حقیقی استعمال کے بارے میں تبھی کچھ بتاتا ہے جب اس کے سوالات ان سوالات سے مشابہ ہوں جو طبی کارکن واقعی پوچھتے ہیں۔ کرتھک وشواناتھ، ٹم ریکارتھ، ایرک اورمن اور ان کے ساتھیوں نے، جن میں سے زیادہ تر NYU لینگون ہیلتھ اور نیویارک یونیورسٹی سے ہیں، یہی ناپنے کا بیڑا اٹھایا۔

127,833 حقیقی درخواستیں

ٹیم نے اگست 2025 سے اپریل 2026 تک، کئی ہسپتالوں پر مشتمل ایک بڑے تعلیمی نظامِ صحت کے محفوظ مصنوعی ذہانت معاون اور طبی کارکنوں کے درمیان 127,833 گفتگوؤں کے پہلے پیغام کا تجزیہ کیا۔ یہ 35 شعبوں کے 6,342 افراد کی طرف سے آئیں: سینئر معالجین (attending physicians)، فیلوز، ریذیڈنٹس، نرس پریکٹیشنرز، فزیشن اسسٹنٹس اور نرسیں۔ نصف درخواستیں نرسوں اور ایڈوانسڈ پریکٹس فراہم کنندگان کی طرف سے آئیں، یعنی ایسے گروہ جو مصنوعی ذہانت کی جانچ میں شاذ و نادر ہی شامل کیے جاتے ہیں۔

ہر درخواست پر لیبل لگانے کے لیے محققین نے RCQ-Map نامی 20 خانوں کا ایک جدول بنایا (کام، ارادہ، غائب معلومات، ممکنہ نقصان، سب سے محفوظ جواب…) اور ایک مصنوعی ذہانت ماڈل، OpenAI کے GPT-5.6 sol، سے اسے لاگو کروایا۔ پہلے انہوں نے 100 درخواستوں پر سات طبی کارکنوں کے مقابلے میں اسے جانچا: ماڈل طبی کارکنوں کے مشترکہ جواب سے تقریباً اتنی ہی بار متفق ہوا جتنا کوئی ایک طبی کارکن ہوتا تھا، 84.6% بمقابلہ 83.0%۔ محققین نے درخواستوں کا متن کبھی نہیں دیکھا، صرف لیبل دیکھے۔

طبی کارکن اصل میں کیا پوچھتے ہیں

دستاویز سازی اور انتظامی کام: 36.2% — طبی نوٹس، نگہداشت کے منصوبے، ڈسچارج کی ہدایات، ریکارڈ کے خلاصے، مریضوں کے پیغامات کے جواب۔
معلومات تلاش کرنا: 28.9%، جن میں ادویات کی معلومات (14.1%) شامل ہیں۔
کسی صورتحال پر طبی استدلال: 14.3%، جن میں سے تشخیص صرف 3.7% تھی۔
ایک چوتھائی درخواستیں محض کلیدی الفاظ کے ٹکڑے تھیں، اور آدھی سے زیادہ میں طبی مخففات استعمال ہوئے۔
ماہرین اکثر اپنے شعبے سے باہر نکل جاتے تھے: ان کے 43.9% طبی سوالات ایسی بیماریوں سے متعلق تھے جن کا علاج کوئی دوسرا شعبہ کرتا ہے۔

بہت سے سوالات کا اسی طرح جواب نہیں دیا جا سکتا جیسے وہ پوچھے گئے

ایک تہائی سے زیادہ درخواستوں (36.1%) کا، جس طرح وہ لکھی گئی تھیں، اچھا جواب نہیں دیا جا سکتا تھا۔ 22.2% معاملات میں اچھے جواب کے لیے ایسی معلومات درکار تھیں جو پیغام میں موجود نہیں تھیں — مریض کی طبی تاریخ، ہسپتال کی ادویات کی فہرست یا اس کے پروٹوکول۔ تقریباً ایک چوتھائی درخواستوں کے لیے سب سے محفوظ جواب ایک وضاحتی سوال تھا؛ انکار کرنا یا سوال کسی انسان کے حوالے کرنا تقریباً کبھی بہترین انتخاب نہیں تھا۔

ماڈل نے 13.2% درخواستوں کو ایسا قرار دیا کہ غلط جواب کی صورت میں ان میں زیادہ یا سنگین ممکنہ نقصان ہو سکتا ہے، لیکن وہ طبی کارکنوں سے زیادہ محتاط تھا: ان کے اتفاقِ رائے کے مطابق دوبارہ کیلیبریٹ کرنے پر یہ شرح تقریباً 3.7% رہ جاتی ہے۔ یہ پُرخطر درخواستیں ادویات کی خوراک اور کسی منصوبہ بند اقدام کے فیصلوں یا اس کی جانچ کے گرد مرکوز تھیں۔

کسی اور کام کے لیے بنائے گئے ٹیسٹ

پھر ٹیم نے یہی جدول طبی مصنوعی ذہانت کے 58 عوامی بینچ مارکس پر لاگو کیا۔ عام بینچ مارک میں دستاویز سازی کی کوئی درخواست سرے سے نہیں تھی، اور اس کے کاموں کا امتزاج حقیقی استعمال سے صرف 31% مطابقت رکھتا تھا — جو اس بینچ مارک سے بھی کم ہے جو اپنے سوالات تمام اقسام کے کاموں میں برابر بانٹ دے (55%)۔ طبی عمل سے مشابہت کے لیے بنائے گئے مجموعوں کے بینچ مارکس بھی اس سے زیادہ قریب نہیں تھے۔ وسیع پیمانے پر استعمال ہونے والے امتحانی طرز کے ٹیسٹ MedQA میں تشخیص 48% سوالات پر مشتمل تھی، اور تقریباً ہر سوال کا بہترین جواب براہِ راست دینا تھا۔

ایک ہسپتال، ایک آلہ

یہ مطالعہ صرف ایک نظامِ صحت اور ایک معاون کا احاطہ کرتا ہے؛ اس نے معاون کے جوابات کا جائزہ نہیں لیا، اس لیے یہ حقیقی کے بجائے ممکنہ نقصان کو ناپتا ہے۔ کسی درخواست کے خطرناک ہونے کے بارے میں طبی کارکن آپس میں صرف معمولی حد تک متفق تھے۔ ایک مصنف دیگر مفادات کے علاوہ Google کے لیے مشاورت کا اعلان کرتے ہیں، اور ایک دوسرے مصنف صحت سے متعلق مصنوعی ذہانت کی ایک کمپنی کے لیے۔ مصنفین اپنا جدول اور بینچ مارکس کا اٹلس جاری کر رہے ہیں تاکہ دوسرے ہسپتال اپنے استعمال کا خاکہ تیار کر سکیں۔ ٹیسٹ بنانے والوں کے لیے ان کا پیغام: مصنوعی ذہانت کو اس کام پر پرکھیں جو طبی کارکن واقعی اس کے پاس لاتے ہیں۔