மருத்துவர்கள் செயற்கை நுண்ணறிவிடம் கேட்பது ஆவண வேலை, நோயறிதல் அல்ல

மருத்துவமனைகள் இப்போது தங்கள் ஊழியர்களுக்குப் பெரிய மொழி மாதிரிகளை (large language models) அடிப்படையாகக் கொண்ட பாதுகாப்பான AI உதவியாளர்களை வழங்குகின்றன. இந்த உதவியாளர்கள் தயாரா என்பது பெரும்பாலும் அளவுகோல் (benchmark) மதிப்பெண்களால் தீர்மானிக்கப்படுகிறது — தேர்வு பாணிக் கேள்விகள் அல்லது கவனமாகத் தேர்ந்தெடுக்கப்பட்ட நோயாளி நிகழ்வுகள்; இவற்றில் மாதிரிகள் இப்போது கிட்டத்தட்ட முழு மதிப்பெண் பெறுகின்றன. 2024 தொடக்கம் வரை வெளியிடப்பட்ட சுகாதாரத் துறையில் மொழி மாதிரிகள் பற்றிய 519 மதிப்பீடுகளில், 5% மட்டுமே உண்மையான நோயாளிப் பராமரிப்புத் தரவைப் பயன்படுத்தின என்று ஆய்வுக்கட்டுரை குறிப்பிடுகிறது.

ஓர் அளவுகோலின் கேள்விகள், மருத்துவப் பணியாளர்கள் உண்மையில் கேட்பவற்றை ஒத்திருந்தால் மட்டுமே அது உண்மையான பயன்பாடு பற்றி ஏதாவது சொல்லும். பெரும்பாலும் NYU லாங்கோன் ஹெல்த், நியூயார்க் பல்கலைக்கழகத்தைச் சேர்ந்த கிருத்திக் விஸ்வநாத், டிம் ரெக்வார்த், எரிக் ஓர்மன் மற்றும் சக ஆய்வாளர்கள் இதை அளவிடப் புறப்பட்டனர்.

127,833 உண்மையான கோரிக்கைகள்

பல மருத்துவமனைகளைக் கொண்ட ஒரு பெரிய கல்விசார் சுகாதார அமைப்பின் பாதுகாப்பான AI உதவியாளருக்கும் மருத்துவப் பணியாளர்களுக்கும் இடையே, ஆகஸ்ட் 2025 முதல் ஏப்ரல் 2026 வரை நடந்த 127,833 உரையாடல்களின் முதல் செய்தியைக் குழு பகுப்பாய்வு செய்தது. இவை 35 சிறப்புத் துறைகளைச் சேர்ந்த 6,342 பேரிடமிருந்து வந்தவை: மூத்த மருத்துவர்கள், மேற்சிறப்புப் பயிற்சியாளர்கள் (fellows), உறைவிட மருத்துவர்கள் (residents), செவிலியர் மருத்துவப் பயிற்சியாளர்கள் (nurse practitioners), மருத்துவர் உதவியாளர்கள், செவிலியர்கள். பாதிக் கோரிக்கைகள் செவிலியர்களிடமிருந்தும் மேம்பட்ட நிலை சுகாதாரப் பணியாளர்களிடமிருந்தும் வந்தவை — AI மதிப்பீடுகளில் அரிதாகவே சேர்க்கப்படும் குழுக்கள் இவை.

ஒவ்வொரு கோரிக்கைக்கும் முத்திரையிட, ஆய்வாளர்கள் RCQ-Map என்ற 20-புலச் சட்டகத்தை உருவாக்கினர் (பணி, நோக்கம், விடுபட்ட தகவல், சாத்தியமான தீங்கு, பாதுகாப்பான பதில்…); அதைப் பயன்படுத்துமாறு OpenAI-இன் GPT-5.6 sol என்ற AI மாதிரியைப் பணித்தனர். முதலில் 100 கோரிக்கைகளில் ஏழு மருத்துவப் பணியாளர்களுடன் இதைச் சரிபார்த்தனர்: மருத்துவப் பணியாளர்களின் பொதுவான பதிலுடன் மாதிரி உடன்பட்ட அளவு, ஒரு மருத்துவப் பணியாளர் உடன்பட்ட அளவுக்கு ஏறக்குறைய சமமாக இருந்தது — 84.6% எதிர் 83.0%. ஆய்வாளர்கள் கோரிக்கைகளின் உரையை ஒருபோதும் பார்க்கவில்லை; முத்திரைகளை மட்டுமே பார்த்தனர்.

மருத்துவப் பணியாளர்கள் உண்மையில் என்ன கேட்கிறார்கள்

• ஆவணப்படுத்தலும் நிர்வாகமும்: 36.2% — மருத்துவக் குறிப்புகள், பராமரிப்புத் திட்டங்கள், வெளியேற்ற அறிவுறுத்தல்கள், மருத்துவக் கோப்புச் சுருக்கங்கள், நோயாளிகளின் செய்திகளுக்குப் பதில்கள்.
• அறிவைத் தேடுதல்: 28.9%, மருந்துத் தகவல் (14.1%) உட்பட.
• ஒரு சூழ்நிலை பற்றிய மருத்துவ ரீதியான பகுத்தறிவு: 14.3%; இதில் நோயறிதல் வெறும் 3.7% மட்டுமே.
• கால் பங்குக் கோரிக்கைகள் வெறும் முக்கியச்சொல் துண்டுகளாக இருந்தன; பாதிக்கும் மேற்பட்டவை மருத்துவச் சுருக்கக் குறியீடுகளைப் பயன்படுத்தின.
• சிறப்பு மருத்துவர்கள் அடிக்கடி தங்கள் துறைக்கு வெளியே சென்றனர்: அவர்களின் மருத்துவக் கேள்விகளில் 43.9% வேறொரு துறை கையாளும் நோய்கள் பற்றியவை.

பல கேள்விகளுக்குக் கேட்கப்பட்டபடியே பதில் தர முடியாது

மூன்றில் ஒரு பங்குக்கும் மேற்பட்ட கோரிக்கைகளுக்கு (36.1%) எழுதப்பட்டபடியே நல்ல பதில் தர முடியவில்லை. 22.2% நிகழ்வுகளில், நல்ல பதிலுக்குச் செய்தியில் இல்லாத தகவல் தேவைப்பட்டது — நோயாளியின் மருத்துவ வரலாறு, மருத்துவமனையின் மருந்துப் பட்டியல் அல்லது நெறிமுறைகள். ஏறக்குறைய கால் பங்குக் கோரிக்கைகளுக்கு, மிகப் பாதுகாப்பான பதில் ஒரு தெளிவுபடுத்தும் கேள்வி; மறுப்பதோ கேள்வியை ஒரு மனிதரிடம் ஒப்படைப்பதோ கிட்டத்தட்ட ஒருபோதும் சிறந்த வழியாக இருக்கவில்லை.

தவறாகப் பதிலளிக்கப்பட்டால் உயர்ந்த அல்லது மிக மோசமான சாத்தியமான தீங்கு கொண்டவை என 13.2% கோரிக்கைகளை மாதிரி மதிப்பிட்டது; ஆனால் அது மருத்துவப் பணியாளர்களை விட எச்சரிக்கையாக இருந்தது: அவர்களின் ஒருமித்த கருத்துக்கு ஏற்ப மறுசீரமைத்தால், இந்த எண் சுமார் 3.7% ஆகக் குறைகிறது. இந்த ஆபத்தான கோரிக்கைகள் மருந்து அளவுகள், திட்டமிடப்பட்ட ஒரு நடவடிக்கை பற்றிய முடிவுகள் அல்லது சரிபார்ப்புகள் ஆகியவற்றைச் சுற்றிக் குவிந்திருந்தன.

வேறொரு வேலைக்காக உருவாக்கப்பட்ட சோதனைகள்

பின்னர் குழு அதே சட்டகத்தை 58 பொது மருத்துவ AI அளவுகோல்களுக்குப் பயன்படுத்தியது. வழக்கமான ஓர் அளவுகோலில் ஆவணப்படுத்தல் கோரிக்கை ஒன்றுகூட இல்லை; அதன் பணிக் கலவை உண்மையான பயன்பாட்டுடன் 31% மட்டுமே பொருந்தியது — எல்லாப் பணி வகைகளிலும் கேள்விகளைச் சமமாகப் பரப்பும் ஓர் அளவுகோல் தரும் பொருத்தத்தை (55%) விடவும் குறைவு. மருத்துவப் பணியை ஒத்திருக்கும்படி வடிவமைக்கப்பட்ட தொகுப்புகளிலிருந்து வந்த அளவுகோல்களும் நெருக்கமாக இருக்கவில்லை. பரவலாகப் பயன்படுத்தப்படும் தேர்வு பாணிச் சோதனையான MedQA-வில், நோயறிதல் 48% கேள்விகளாக இருந்தது; கிட்டத்தட்ட ஒவ்வொரு கேள்விக்கும் நேரடியாகப் பதிலளிப்பதே சிறந்ததாக இருந்தது.

ஒரு மருத்துவமனை, ஒரு கருவி

இந்த ஆய்வு ஒரே சுகாதார அமைப்பையும் ஒரே உதவியாளரையும் உள்ளடக்கியது; உதவியாளரின் பதில்களை அது பார்க்கவில்லை; எனவே அது உண்மையில் நிகழ்ந்த தீங்கை அல்ல, சாத்தியமான தீங்கையே அளக்கிறது. ஒரு கோரிக்கை எவ்வளவு ஆபத்தானது என்பதில் மருத்துவப் பணியாளர்கள் தமக்குள் ஓரளவே உடன்பட்டனர். ஆய்வாளர்களில் ஒருவர் வேறு நலன்களுடன் Google-க்கு ஆலோசனை வழங்குவதாகவும், இன்னொருவர் ஒரு சுகாதார AI நிறுவனத்துக்கு ஆலோசனை வழங்குவதாகவும் அறிவிக்கின்றனர். பிற மருத்துவமனைகள் தங்கள் சொந்தப் பயன்பாட்டை விவரிக்க ஏதுவாக, ஆய்வாளர்கள் தங்கள் சட்டகத்தையும் அளவுகோல் வரைபட நூலையும் (atlas) வெளியிடுகின்றனர். சோதனை உருவாக்குநர்களுக்கு அவர்களின் செய்தி: மருத்துவப் பணியாளர்கள் உண்மையில் AI-யிடம் கொண்டுவரும் பணியின் அடிப்படையில் அதை மதிப்பிடுங்கள்.