डॉक्टर AI से निदान नहीं, काग़ज़ी काम माँगते हैं

अस्पताल अब अपने कर्मचारियों को बड़े भाषा मॉडलों पर आधारित सुरक्षित AI सहायक दे रहे हैं। ये सहायक तैयार हैं या नहीं, इसका फ़ैसला ज़्यादातर बेंचमार्क अंकों से होता है — परीक्षा-शैली के सवाल या सावधानी से चुने गए केस, जिन पर मॉडल अब लगभग पूरे अंक लाने लगे हैं। शोधपत्र बताता है कि 2024 की शुरुआत तक स्वास्थ्य सेवा में भाषा मॉडलों के जो 519 मूल्यांकन प्रकाशित हुए, उनमें से सिर्फ़ 5% ने मरीज़ों की देखभाल के असली डेटा का इस्तेमाल किया।

कोई बेंचमार्क असली इस्तेमाल के बारे में तभी कुछ बताता है जब उसके सवाल उन सवालों जैसे हों जो चिकित्सा-कर्मी वाक़ई पूछते हैं। क्रितिक विश्वनाथ, टिम रेक्वार्थ, एरिक ओरमन और उनके सहयोगियों ने, जो ज़्यादातर NYU लैंगोन हेल्थ और न्यूयॉर्क विश्वविद्यालय से हैं, इसे मापने का काम हाथ में लिया।

1,27,833 असली अनुरोध

टीम ने अगस्त 2025 से अप्रैल 2026 के बीच एक बड़े, कई अस्पतालों वाले शैक्षणिक स्वास्थ्य तंत्र के सुरक्षित AI सहायक और चिकित्सा-कर्मियों के बीच हुई 1,27,833 बातचीतों के पहले संदेश का विश्लेषण किया। ये संदेश 35 विशेषज्ञताओं के 6,342 लोगों से आए थे: अटेंडिंग फ़िज़िशियन, फ़ेलो, रेज़िडेंट, नर्स प्रैक्टिशनर, फ़िज़िशियन असिस्टेंट और नर्सें। आधे अनुरोध नर्सों और एडवांस्ड प्रैक्टिस प्रोवाइडरों से आए थे — ऐसे समूह जिन्हें AI मूल्यांकनों में शायद ही कभी शामिल किया जाता है।

हर अनुरोध पर लेबल लगाने के लिए शोधकर्ताओं ने 20 खानों वाला एक ढाँचा बनाया, जिसे RCQ-Map कहा गया (काम, मंशा, ग़ायब जानकारी, संभावित नुक़सान, सबसे सुरक्षित जवाब…), और इसे लागू करने का काम एक AI मॉडल, OpenAI के GPT-5.6 sol, को दिया। पहले उन्होंने 100 अनुरोधों पर सात चिकित्सा-कर्मियों से इसकी जाँच की: मॉडल चिकित्सा-कर्मियों के साझा जवाब से लगभग उतनी ही बार सहमत हुआ जितना एक चिकित्सा-कर्मी, 84.6% बनाम 83.0%। शोधकर्ताओं ने अनुरोधों का पाठ कभी नहीं देखा, सिर्फ़ लेबल देखे।

चिकित्सा-कर्मी असल में क्या पूछते हैं

दस्तावेज़ीकरण और प्रशासन: 36.2% — क्लिनिकल नोट्स, देखभाल योजनाएँ, डिस्चार्ज के निर्देश, रिकॉर्ड के सारांश, मरीज़ों के संदेशों के जवाब।
जानकारी खोजना: 28.9%, जिसमें दवाओं की जानकारी (14.1%) शामिल है।
किसी स्थिति के बारे में क्लिनिकल तर्क: 14.3%, जिसमें निदान सिर्फ़ 3.7% था।
एक-चौथाई अनुरोध महज़ कीवर्ड के टुकड़े थे, और आधे से ज़्यादा में क्लिनिकल संक्षिप्त रूपों का इस्तेमाल हुआ।
विशेषज्ञ अक्सर अपने क्षेत्र से बाहर चले जाते थे: उनके 43.9% क्लिनिकल सवाल ऐसी बीमारियों के बारे में थे जिन्हें कोई दूसरा विभाग सँभालता है।

कई सवालों का वैसा जवाब नहीं दिया जा सकता जैसे वे पूछे गए

एक-तिहाई से ज़्यादा अनुरोधों (36.1%) का, जैसे वे लिखे गए थे, ठीक जवाब नहीं दिया जा सकता था। 22.2% मामलों में अच्छे जवाब के लिए ऐसी जानकारी चाहिए थी जो संदेश में नहीं थी — मरीज़ का इतिहास, अस्पताल की दवा-सूची या प्रोटोकॉल। लगभग एक-चौथाई अनुरोधों में सबसे सुरक्षित जवाब एक स्पष्टीकरण माँगने वाला सवाल था; मना कर देना या सवाल किसी इंसान को सौंप देना लगभग कभी भी सबसे अच्छा विकल्प नहीं था।

मॉडल ने 13.2% अनुरोधों को ऐसा आँका कि ग़लत जवाब मिलने पर उनमें ऊँचा या गंभीर संभावित नुक़सान था, लेकिन वह चिकित्सा-कर्मियों से ज़्यादा सतर्क था: उनकी आम सहमति के हिसाब से दोबारा कैलिब्रेट करने पर यह आँकड़ा घटकर लगभग 3.7% रह जाता है। ये जोखिम भरे अनुरोध दवा की ख़ुराक और किसी नियोजित कदम के फ़ैसलों या जाँच के इर्द-गिर्द केंद्रित थे।

किसी और काम के लिए बने परीक्षण

फिर टीम ने यही ढाँचा 58 सार्वजनिक मेडिकल AI बेंचमार्कों पर लागू किया। आम बेंचमार्क में दस्तावेज़ीकरण का एक भी अनुरोध नहीं था, और उसके कामों का मिश्रण असली इस्तेमाल से सिर्फ़ 31% मेल खाता था — जो उस बेंचमार्क से भी कम है जो अपने सवाल सभी प्रकार के कामों में बराबर बाँट दे (55%)। क्लिनिकल प्रैक्टिस जैसा दिखने के लिए बनाए गए परीक्षण-संग्रहों के बेंचमार्क भी इससे ज़्यादा क़रीब नहीं थे। व्यापक रूप से इस्तेमाल होने वाले परीक्षा-शैली के परीक्षण MedQA में 48% सवाल निदान के थे, और लगभग हर सवाल का सबसे अच्छा जवाब सीधे देना था।

एक अस्पताल, एक टूल

यह अध्ययन एक ही स्वास्थ्य तंत्र और एक ही सहायक तक सीमित है; इसने सहायक के जवाबों को नहीं देखा, इसलिए यह वास्तविक नहीं बल्कि संभावित नुक़सान मापता है। कोई अनुरोध कितना जोखिम भरा है, इस पर चिकित्सा-कर्मी आपस में बस थोड़े-बहुत ही सहमत थे। एक लेखक अन्य हितों के साथ Google के लिए परामर्श देने की घोषणा करते हैं, और एक अन्य एक हेल्थ AI कंपनी के लिए परामर्श देने की। लेखक अपना ढाँचा और अपने बेंचमार्कों का एटलस सार्वजनिक कर रहे हैं, ताकि दूसरे अस्पताल अपने इस्तेमाल का ख़ाका बना सकें। परीक्षण बनाने वालों के लिए उनका संदेश: AI का मूल्यांकन उस काम पर करें जो चिकित्सा-कर्मी असल में उसके पास लाते हैं।