వైద్యులు AI ని రోగనిర్ధారణ కాదు, కాగితపు పని అడుగుతారు

ఆసుపత్రులు ఇప్పుడు తమ సిబ్బందికి పెద్ద భాషా మోడళ్లపై ఆధారపడిన సురక్షిత AI సహాయకులను అందిస్తున్నాయి. ఆ సహాయకులు సిద్ధంగా ఉన్నాయా లేదా అనేది ప్రధానంగా బెంచ్‌మార్క్ స్కోర్ల ద్వారా నిర్ణయిస్తారు — పరీక్ష తరహా ప్రశ్నలు లేదా జాగ్రత్తగా ఎంచుకున్న కేసులు, వాటిపై మోడళ్లు ఇప్పుడు దాదాపు పూర్తి మార్కులు సాధిస్తున్నాయి. 2024 ప్రారంభం వరకు ప్రచురితమైన ఆరోగ్య సంరక్షణలో భాషా మోడళ్ల 519 మూల్యాంకనాల్లో కేవలం 5% మాత్రమే నిజమైన రోగి సంరక్షణ డేటాను ఉపయోగించాయని పరిశోధనా పత్రం పేర్కొంటుంది.

ఒక బెంచ్‌మార్క్ నిజమైన వాడకం గురించి ఏదైనా చెప్పగలిగేది, దాని ప్రశ్నలు క్లినిషియన్లు నిజంగా అడిగే వాటిని పోలి ఉన్నప్పుడు మాత్రమే. ప్రధానంగా NYU లాంగోన్ హెల్త్, న్యూయార్క్ విశ్వవిద్యాలయాలకు చెందిన క్రితిక్ విశ్వనాథ్ (Krithik Vishwanath), టిమ్ రెక్వార్త్ (Tim Requarth), ఎరిక్ ఓర్మన్ (Eric Oermann), వారి సహచరులు దాన్ని కొలవడానికి పూనుకున్నారు.

1,27,833 నిజమైన అభ్యర్థనలు

బృందం, అనేక ఆసుపత్రులు ఉన్న ఒక పెద్ద విద్యా ఆరోగ్య వ్యవస్థలో ఆగస్టు 2025 నుంచి ఏప్రిల్ 2026 వరకు క్లినిషియన్లకు, సురక్షిత AI సహాయకుడికి మధ్య జరిగిన 1,27,833 సంభాషణల మొదటి సందేశాన్ని విశ్లేషించింది. అవి 35 స్పెషాలిటీలకు చెందిన 6,342 మంది నుంచి వచ్చాయి: అటెండింగ్ వైద్యులు, ఫెలోలు, రెసిడెంట్లు, నర్స్ ప్రాక్టీషనర్లు, ఫిజీషియన్ అసిస్టెంట్లు, నర్సులు. సగం అభ్యర్థనలు నర్సులు, అడ్వాన్స్‌డ్ ప్రాక్టీస్ ప్రొవైడర్ల (advanced practice providers) నుంచి వచ్చాయి — AI మూల్యాంకనాల్లో అరుదుగా చేర్చబడే వర్గాలు ఇవి.

ప్రతి అభ్యర్థనకూ లేబుల్ వేయడానికి పరిశోధకులు RCQ-Map అనే 20 అంశాల పట్టికను రూపొందించారు (పని, ఉద్దేశం, లోపించిన సమాచారం, సంభావ్య హాని, అత్యంత సురక్షిత ప్రతిస్పందన…), దాన్ని OpenAI కి చెందిన GPT-5.6 sol అనే AI మోడల్‌తో అమలు చేయించారు. ముందుగా 100 అభ్యర్థనలపై ఏడుగురు క్లినిషియన్లతో దాన్ని సరిచూశారు: క్లినిషియన్ల ఉమ్మడి సమాధానంతో మోడల్ దాదాపు ఒక క్లినిషియన్ ఏకీభవించినంత తరచుగానే ఏకీభవించింది, 84.6% వర్సెస్ 83.0%. పరిశోధకులు అభ్యర్థనల పాఠ్యాన్ని ఎప్పుడూ చూడలేదు, లేబుళ్లను మాత్రమే చూశారు.

క్లినిషియన్లు నిజంగా ఏం అడుగుతారు

• డాక్యుమెంటేషన్, పరిపాలన: 36.2% — క్లినికల్ నోట్స్, సంరక్షణ ప్రణాళికలు, డిశ్చార్జ్ సూచనలు, చార్ట్ సారాంశాలు, రోగుల సందేశాలకు జవాబులు.
• సమాచారం వెతకడం: 28.9%, ఇందులో మందుల సమాచారం (14.1%).
• ఒక పరిస్థితి గురించి క్లినికల్ తర్కం: 14.3%, అందులో రోగనిర్ధారణ కేవలం 3.7%.
• నాలుగింట ఒక వంతు అభ్యర్థనలు కేవలం కీలకపద ముక్కలు, సగానికి పైగా క్లినికల్ సంక్షిప్త రూపాలను ఉపయోగించాయి.
• స్పెషలిస్టులు తరచుగా తమ రంగం దాటి వెళ్లారు: వారి క్లినికల్ ప్రశ్నల్లో 43.9% మరో విభాగం నిర్వహించే వ్యాధుల గురించి ఉన్నాయి.

చాలా ప్రశ్నలకు అడిగిన రూపంలో సమాధానం ఇవ్వలేం

మూడింట ఒక వంతుకు పైగా అభ్యర్థనలకు (36.1%) రాసిన రూపంలోనే సరైన సమాధానం ఇవ్వడం సాధ్యం కాలేదు. 22.2% కేసుల్లో మంచి సమాధానానికి సందేశంలో లేని సమాచారం అవసరమైంది — రోగి చరిత్ర, ఆసుపత్రి మందుల జాబితా లేదా ప్రోటోకాల్‌లు. సుమారు నాలుగింట ఒక వంతు అభ్యర్థనలకు అత్యంత సురక్షిత జవాబు ఒక స్పష్టత కోరే ప్రశ్న; తిరస్కరించడం లేదా ప్రశ్నను ఒక మనిషికి అప్పగించడం దాదాపు ఎప్పుడూ ఉత్తమ ఎంపిక కాలేదు.

తప్పుగా సమాధానం ఇస్తే 13.2% అభ్యర్థనలు అధిక లేదా తీవ్రమైన సంభావ్య హానిని కలిగిస్తాయని మోడల్ అంచనా వేసింది, కానీ అది క్లినిషియన్ల కంటే ఎక్కువ జాగ్రత్తగా ఉంది: వారి ఏకాభిప్రాయానికి అనుగుణంగా తిరిగి సర్దుబాటు చేస్తే ఆ సంఖ్య సుమారు 3.7% కు తగ్గుతుంది. ఈ ప్రమాదకర అభ్యర్థనలు మందుల మోతాదుల చుట్టూ, ప్రణాళిక చేసిన చర్యకు సంబంధించిన నిర్ణయాలు లేదా తనిఖీల చుట్టూ కేంద్రీకృతమయ్యాయి.

వేరే పని కోసం నిర్మించిన పరీక్షలు

తర్వాత బృందం అదే పట్టికను 58 బహిరంగ వైద్య AI బెంచ్‌మార్క్‌లకు వర్తింపజేసింది. సాధారణ బెంచ్‌మార్క్‌లో డాక్యుమెంటేషన్ అభ్యర్థనలు అసలే లేవు, దాని పనుల మిశ్రమం నిజమైన వాడకంతో కేవలం 31% మాత్రమే అతివ్యాప్తి చెందింది — అన్ని రకాల పనులకూ ప్రశ్నలను సమానంగా పంచే బెంచ్‌మార్క్ సాధించే దానికంటే (55%) తక్కువ. క్లినికల్ ఆచరణను పోలి ఉండేలా రూపొందించిన సూట్‌లలోని బెంచ్‌మార్క్‌లు కూడా వాస్తవానికి దగ్గరగా లేవు. విస్తృతంగా వాడే పరీక్ష తరహా టెస్ట్ MedQA లో 48% అంశాలు రోగనిర్ధారణవే, దాదాపు ప్రతి అంశానికీ నేరుగా సమాధానం ఇవ్వడమే ఉత్తమం.

ఒక ఆసుపత్రి, ఒక సాధనం

ఈ అధ్యయనం ఒకే ఆరోగ్య వ్యవస్థను, ఒకే సహాయకుడిని మాత్రమే కవర్ చేస్తుంది; సహాయకుడి సమాధానాలను పరిశీలించలేదు, కాబట్టి అది నిజమైన హాని కాకుండా సంభావ్య హానిని కొలుస్తుంది. ఒక అభ్యర్థన ఎంత ప్రమాదకరమో అనే దానిపై క్లినిషియన్ల మధ్య పరిమిత ఏకాభిప్రాయం మాత్రమే ఉంది. ఒక రచయిత ఇతర ప్రయోజనాలతో పాటు Google కు కన్సల్టింగ్ చేసినట్లు, మరొకరు ఒక ఆరోగ్య AI కంపెనీకి కన్సల్టింగ్ చేసినట్లు ప్రకటించారు. ఇతర ఆసుపత్రులు తమ సొంత వాడకాన్ని విశ్లేషించుకునేలా, రచయితలు తమ పట్టికను, బెంచ్‌మార్క్ అట్లాస్‌ను విడుదల చేశారు. పరీక్షలు రూపొందించేవారికి వారి సందేశం: క్లినిషియన్లు AI వద్దకు నిజంగా తీసుకువచ్చే పనిపైనే AI ని మూల్యాంకనం చేయండి.