डॉक्टर AI कडे निदान नव्हे, कागदपत्रांचे काम मागतात

रुग्णालये आता त्यांच्या कर्मचाऱ्यांना मोठ्या भाषा-मॉडेलवर आधारित सुरक्षित AI सहाय्यक देतात. हे सहाय्यक तयार आहेत की नाहीत, हे मुख्यतः बेंचमार्क गुणांवरून ठरवले जाते — परीक्षेसारखे प्रश्न किंवा काळजीपूर्वक निवडलेली प्रकरणे, ज्यांवर मॉडेल आता जवळजवळ पूर्ण गुण मिळवतात. शोधनिबंध नमूद करतो की 2024 च्या सुरुवातीपर्यंत प्रकाशित झालेल्या आरोग्यसेवेतील भाषा-मॉडेलच्या 519 मूल्यमापनांपैकी फक्त 5% मूल्यमापनांत प्रत्यक्ष रुग्णसेवेचा डेटा वापरला होता.

बेंचमार्क प्रत्यक्ष वापराबद्दल काही सांगतो, ते फक्त तेव्हाच जेव्हा त्याचे प्रश्न वैद्यकीय कर्मचारी खरोखर विचारतात त्या प्रश्नांसारखे असतात. मुख्यतः NYU लँगोन हेल्थ आणि न्यूयॉर्क विद्यापीठातील क्रितिक विश्वनाथ (Krithik Vishwanath), टिम रेक्वार्थ (Tim Requarth), एरिक ओरमन (Eric Oermann) आणि त्यांच्या सहकाऱ्यांनी हेच मोजायचे ठरवले.

1,27,833 खऱ्या विनंत्या

संघाने ऑगस्ट 2025 ते एप्रिल 2026 या काळात, अनेक रुग्णालये असलेल्या एका मोठ्या शैक्षणिक आरोग्य प्रणालीतील वैद्यकीय कर्मचारी आणि सुरक्षित AI सहाय्यक यांच्यातील 1,27,833 संभाषणांच्या पहिल्या संदेशाचे विश्लेषण केले. हे संदेश 35 विशेषशाखांमधील 6,342 व्यक्तींकडून आले होते: वरिष्ठ डॉक्टर, फेलो, निवासी डॉक्टर, नर्स प्रॅक्टिशनर, फिजिशियन असिस्टंट आणि परिचारिका. निम्म्या विनंत्या परिचारिका आणि प्रगत-सराव सेवा पुरवठादारांकडून (advanced practice providers) आल्या होत्या — असे गट जे AI मूल्यमापनांत क्वचितच समाविष्ट केले जातात.

प्रत्येक विनंतीला लेबल लावण्यासाठी संशोधकांनी RCQ-Map नावाची 20 घटकांची एक तालिका तयार केली (काम, हेतू, गहाळ माहिती, संभाव्य हानी, सर्वांत सुरक्षित प्रतिसाद…) आणि OpenAI च्या GPT-5.6 sol या AI मॉडेलकडून ती लागू करून घेतली. त्यांनी आधी 100 विनंत्यांवर सात डॉक्टरांशी तिची पडताळणी केली: डॉक्टरांच्या सामायिक उत्तराशी मॉडेल जवळजवळ तितक्याच वेळा सहमत झाले जितक्या वेळा एखादा डॉक्टर होत असे, 84.6% विरुद्ध 83.0%. संशोधकांनी विनंत्यांचा मजकूर कधीही पाहिला नाही, फक्त लेबले पाहिली.

वैद्यकीय कर्मचारी प्रत्यक्षात काय विचारतात

दस्तऐवजीकरण आणि प्रशासन: 36.2% — वैद्यकीय नोंदी, उपचार योजना, डिस्चार्जच्या सूचना, चार्टचे सारांश, रुग्णांच्या संदेशांना उत्तरे.
माहिती शोधणे: 28.9%, ज्यात औषधांविषयीची माहिती (14.1%) समाविष्ट.
एखाद्या परिस्थितीबद्दल वैद्यकीय तर्क: 14.3%, ज्यापैकी निदान फक्त 3.7%.
एक चतुर्थांश विनंत्या केवळ मुख्य शब्दांचे तुकडे होत्या, आणि निम्म्याहून अधिक विनंत्यांत वैद्यकीय संक्षेप वापरले होते.
विशेषज्ञ अनेकदा आपल्या क्षेत्राबाहेर जात: त्यांच्या वैद्यकीय प्रश्नांपैकी 43.9% प्रश्न दुसऱ्या विभागाकडून हाताळल्या जाणाऱ्या आजारांबद्दल होते.

अनेक प्रश्नांना विचारल्याप्रमाणे उत्तर देता येत नाही

एक तृतीयांशाहून अधिक विनंत्यांना (36.1%) त्या लिहिल्या होत्या तशा स्वरूपात नीट उत्तर देता येत नव्हते. 22.2% प्रकरणांत चांगल्या उत्तरासाठी संदेशात नसलेली माहिती लागत होती — रुग्णाचा इतिहास, रुग्णालयाची औषध-यादी किंवा नियमावली. सुमारे एक चतुर्थांश विनंत्यांसाठी सर्वांत सुरक्षित उत्तर म्हणजे स्पष्टीकरण मागणारा प्रश्न होता; नकार देणे किंवा प्रश्न एखाद्या माणसाकडे सोपवणे हा जवळजवळ कधीच सर्वोत्तम पर्याय नव्हता.

चुकीचे उत्तर दिल्यास 13.2% विनंत्यांत उच्च किंवा गंभीर संभाव्य हानी आहे, असा मॉडेलचा निष्कर्ष होता; पण ते डॉक्टरांपेक्षा जास्त सावध होते: त्यांच्या सर्वसहमतीनुसार पुन्हा मापन केल्यावर हा आकडा सुमारे 3.7% पर्यंत खाली येतो. या जोखमीच्या विनंत्या औषधांच्या मात्रांभोवती आणि नियोजित कृतीबाबतचे निर्णय किंवा तपासण्या यांभोवती केंद्रित होत्या.

वेगळ्याच कामासाठी बनवलेल्या चाचण्या

त्यानंतर संघाने हीच तालिका 58 सार्वजनिक वैद्यकीय AI बेंचमार्कना लावली. नमुनेदार बेंचमार्कमध्ये दस्तऐवजीकरणाची एकही विनंती नव्हती, आणि त्याच्या कामांचे मिश्रण प्रत्यक्ष वापराशी फक्त 31% जुळत होते — सर्व प्रकारच्या कामांमध्ये प्रश्न समान वाटून देणाऱ्या बेंचमार्कपेक्षाही कमी (55%). वैद्यकीय सरावासारखे दिसावेत म्हणून रचलेल्या संचांमधील बेंचमार्कही प्रत्यक्षतेच्या अधिक जवळ नव्हते. MedQA या मोठ्या प्रमाणावर वापरल्या जाणाऱ्या परीक्षासदृश चाचणीत 48% प्रश्न निदानाचे होते, आणि जवळजवळ प्रत्येक प्रश्नाला थेट उत्तर देणेच सर्वोत्तम होते.

एक रुग्णालय, एक साधन

हा अभ्यास एकाच आरोग्य प्रणालीचा आणि एकाच सहाय्यकाचा आहे; त्यात सहाय्यकाची उत्तरे तपासली नाहीत, त्यामुळे तो प्रत्यक्ष नव्हे तर संभाव्य हानी मोजतो. एखादी विनंती किती जोखमीची आहे याबद्दल डॉक्टरांमध्ये आपापसांत फक्त माफक सहमती होती. एका लेखकाने इतर हितसंबंधांबरोबरच Google साठी सल्लागार म्हणून काम केल्याचे जाहीर केले आहे, आणि दुसऱ्याने एका आरोग्य-AI कंपनीसाठी. लेखकांनी आपली तालिका आणि बेंचमार्कचा नकाशासंग्रह (atlas) प्रसिद्ध केला आहे, जेणेकरून इतर रुग्णालये आपल्या वापराचे विश्लेषण करू शकतील. चाचण्या बनवणाऱ्यांसाठी त्यांचा संदेश: वैद्यकीय कर्मचारी AI कडे प्रत्यक्षात जे काम घेऊन येतात, त्यावरच AI चे मूल्यमापन करा.