ڈاکٹر AI توں تشخیص نئیں، کاغذی کم منگدے نیں
ہسپتال ہُن اپنے عملے نوں وڈے لسانی ماڈلاں (large language models) اُتے بنے محفوظ AI مددگار دیندے نیں۔ ایہ مددگار تیار نیں یا نئیں، ایہدا فیصلہ بہتا بینچ مارک نمبراں نال ہوندا اے — امتحان ورگے سوال یا دھیان نال چنے گئے کیس، جنہاں اُتے ماڈل ہُن تقریباً پورے نمبر لے رہے نیں۔ مقالہ دسدا اے کہ 2024 دے شروع تیک چھپیاں صحت دے شعبے وچ لسانی ماڈلاں دیاں 519 جانچاں وچوں صرف 5% نے مریضاں دی اصل دیکھ بھال دا ڈیٹا ورتیا۔
بینچ مارک اصلی ورتوں بارے تد ای کجھ دسدا اے جے اوہدے سوال اوہناں ورگے ہون جو طبی کارکن اصل وچ پچھدے نیں۔ کرتھک وشوناتھ (Krithik Vishwanath)، ٹم ریکوارتھ (Tim Requarth)، ایرک اورمن (Eric Oermann) تے اوہناں دے ساتھیاں نے، جو بہتے NYU لینگون ہیلتھ تے نیو یارک یونیورسٹی توں نیں، ایہو ناپن دا ارادہ کیتا۔
127,833 اصلی درخواستاں
ٹیم نے اگست 2025 توں اپریل 2026 تیک، کئی ہسپتالاں والے اک وڈے تعلیمی صحت نظام دے محفوظ AI مددگار تے طبی کارکناں وچکار 127,833 گل باتاں دا پہلا سنیہا جانچیا۔ ایہ 35 شعبیاں دے 6,342 لوکاں ولوں سن: سینئر ڈاکٹر، فیلو، ریذیڈنٹ ڈاکٹر، نرس پریکٹیشنر، فزیشن اسسٹنٹ تے نرساں۔ ادھیاں درخواستاں نرساں تے اگلے درجے دے طبی کارکناں ولوں سن، اوہ گروہ جنہاں نوں AI دیاں جانچاں وچ گھٹ ای شامل کیتا جاندا اے۔
ہر درخواست اُتے لیبل لاؤن لئی، کھوجیاں نے 20 خانیاں والا اک جدول بنایا جیہنوں RCQ-Map آکھدے نیں (کم، نیت، گمشدہ معلومات، ممکنہ نقصان، سبھ توں محفوظ جواب…) تے اک AI ماڈل، OpenAI دے GPT-5.6 sol، کولوں ایہ لاگو کروایا۔ پہلاں اوہناں نے 100 درخواستاں اُتے ست طبی کارکناں نال ایہدی پڑتال کیتی: ماڈل طبی کارکناں دے سانجھے جواب نال لگ بھگ اونی واری ای متفق ہویا جنی واری اک طبی کارکن، 84.6% بمقابلہ 83.0%۔ کھوجیاں نے درخواستاں دی عبارت کدی نئیں ویکھی، بس لیبل ای ویکھے۔
طبی کارکن اصل وچ کیہ پچھدے نیں
- دستاویز بندی تے انتظامی کم: 36.2% — طبی نوٹ، دیکھ بھال دے منصوبے، چھٹی دیاں ہدایتاں، فائل دے خلاصے، مریضاں دے سنیہیاں دے جواب۔
- علم لبھنا: 28.9%، دوائیاں دی معلومات سمیت (14.1%)۔
- کسے حالت بارے طبی سوچ بچار: 14.3%، جیہدے وچوں تشخیص صرف 3.7% سی۔
- اک چوتھائی درخواستاں بس لفظاں دے ٹوٹے سن، تے ادھیاں توں ودھ وچ طبی مخفف ورتے گئے۔
- ماہر اکثر اپنے شعبے توں باہر نکل جاندے سن: اوہناں دے 43.9% طبی سوال اوہناں بیماریاں بارے سن جنہاں نوں کوئی ہور شعبہ سنبھالدا اے۔
بہت سارے سوالاں دا جواب اوہناں دی شکل وچ نئیں دتا جا سکدا
تیجے حصے توں ودھ درخواستاں (36.1%) دا، جیویں لکھیاں گئیاں، چنگا جواب نئیں دتا جا سکدا سی۔ 22.2% کیساں وچ، چنگے جواب لئی اوہ معلومات لوڑیندی سی جو سنیہے وچ نئیں سی — مریض دی تاریخ، ہسپتال دی دوائیاں دی فہرست یا ضابطے۔ لگ بھگ اک چوتھائی درخواستاں لئی، سبھ توں محفوظ جواب اک وضاحتی سوال سی؛ انکار کرنا یا سوال کسے بندے حوالے کرنا تقریباً کدی وی سبھ توں چنگا رستہ نئیں سی۔
ماڈل نے 13.2% درخواستاں نوں ایہو جیہا سمجھیا کہ غلط جواب دی صورت وچ اوہناں وچ اُچا یا سنگین ممکنہ نقصان اے، پر اوہ طبی کارکناں توں ودھ محتاط سی: اوہناں دی سانجھی رائے موجب دوبارہ ترتیب دتیاں، ایہ گنتی لگ بھگ 3.7% رہ جاندی اے۔ ایہ خطرناک درخواستاں دوائیاں دیاں خوراکاں، تے کسے منصوبہ بند عمل بارے فیصلیاں یا پڑتال دے دوالے اکٹھیاں سن۔
کسے ہور کم لئی بنے ٹیسٹ
فیر ٹیم نے ایہو جدول 58 عوامی میڈیکل AI بینچ مارکاں اُتے لاگو کیتا۔ عام بینچ مارک وچ دستاویز بندی دی کوئی درخواست بالکل نئیں سی، تے اوہدے کماں دا رلاؤ اصلی ورتوں نال صرف 31% میل کھاندا سی — اوس بینچ مارک توں وی گھٹ جو اپنے سوال ساریاں قسماں دے کماں وچ برابر ونڈ دیندا (55%)۔ کلینیکل کم ورگے بناؤن لئی تیار کیتے گئے مجموعیاں دے بینچ مارک وی نیڑے نئیں سن۔ MedQA وچ، جو امتحان ورگا اک عام ورتیا جان والا ٹیسٹ اے، تشخیص 48% سوالاں وچ سی، تے تقریباً ہر سوال دا سبھ توں چنگا جواب سدھا دینا ای سی۔
اک ہسپتال، اک اوزار
ایہ تحقیق اک صحت نظام تے اک مددگار اُتے اے؛ ایہنے مددگار دے جواب نئیں ویکھے، ایس لئی ایہ اصل نقصان دی تھاں ممکنہ نقصان ناپدی اے۔ طبی کارکن آپس وچ ایس گل اُتے تھوڑے ای متفق سن کہ کوئی درخواست کنی خطرناک اے۔ اک لکھاری نے ہور مفادات دے نال Google نوں مشورے دین دا اعلان کیتا اے، تے اک ہور نے صحت دی اک AI کمپنی نوں مشورے دین دا۔ لکھاریاں نے اپنا جدول تے اپنا بینچ مارک اٹلس جاری کیتا اے، تاں جو دوجے ہسپتال اپنی ورتوں دا خاکہ بنا سکن۔ ٹیسٹ بناؤن والیاں لئی اوہناں دا سنیہا: AI نوں اوس کم اُتے پرکھو جو طبی کارکن اصل وچ اوہدے کول لیاؤندے نیں۔