চিকিৎসকেরা AI-এর কাছে রোগনির্ণয় নয়, কাগজপত্রের কাজ চান

হাসপাতালগুলো এখন তাদের কর্মীদের বড় ভাষা মডেলভিত্তিক নিরাপদ AI সহকারী দিচ্ছে। এই সহকারীরা প্রস্তুত কি না, তা মূলত বিচার করা হয় বেঞ্চমার্ক নম্বর দিয়ে — পরীক্ষা-ধাঁচের প্রশ্ন বা যত্ন করে বাছাই করা কেস, যেগুলোতে মডেলেরা এখন প্রায় পূর্ণ নম্বর পায়। গবেষণাপত্রটি জানায়, ২০২৪ সালের শুরু পর্যন্ত স্বাস্থ্যসেবায় ভাষা মডেলের যে ৫১৯টি মূল্যায়ন প্রকাশিত হয়েছিল, তার মাত্র ৫% রোগী-সেবার আসল ডেটা ব্যবহার করেছিল।

একটি বেঞ্চমার্ক আসল ব্যবহার সম্পর্কে তখনই কিছু বলে, যখন তার প্রশ্নগুলো চিকিৎসাকর্মীরা আসলে যা জিজ্ঞেস করেন তার মতো হয়। ক্রিতিক বিশ্বনাথ, টিম রেকওয়ার্থ, এরিক ওরমান ও তাঁদের সহকর্মীরা, যাঁদের বেশির ভাগ NYU ল্যাঙ্গোন হেলথ ও নিউ ইয়র্ক বিশ্ববিদ্যালয়ের, সেটিই মাপতে নেমেছিলেন।

১,২৭,৮৩৩টি আসল অনুরোধ

দলটি ২০২৫ সালের আগস্ট থেকে ২০২৬ সালের এপ্রিল পর্যন্ত একটি বড়, বহু-হাসপাতালের শিক্ষায়তনিক স্বাস্থ্যব্যবস্থার নিরাপদ AI সহকারী ও চিকিৎসাকর্মীদের মধ্যকার ১,২৭,৮৩৩টি কথোপকথনের প্রথম বার্তা বিশ্লেষণ করে। এগুলো এসেছিল ৩৫টি বিশেষায়িত শাখার ৬,৩৪২ জনের কাছ থেকে: অ্যাটেন্ডিং চিকিৎসক, ফেলো, রেসিডেন্ট, নার্স প্র্যাকটিশনার, ফিজিশিয়ান অ্যাসিস্ট্যান্ট ও নার্স। অর্ধেক অনুরোধ এসেছিল নার্স ও অ্যাডভান্সড প্র্যাকটিস প্রোভাইডারদের কাছ থেকে — এমন গোষ্ঠী, যাদের AI মূল্যায়নে কদাচিৎ রাখা হয়।

প্রতিটি অনুরোধে লেবেল দিতে গবেষকেরা RCQ-Map নামে ২০ ঘরের একটি ছক তৈরি করেন (কাজ, উদ্দেশ্য, অনুপস্থিত তথ্য, সম্ভাব্য ক্ষতি, সবচেয়ে নিরাপদ উত্তর…), এবং একটি AI মডেল, OpenAI-এর GPT-5.6 sol, দিয়ে সেটি প্রয়োগ করান। প্রথমে তাঁরা ১০০টি অনুরোধে সাতজন চিকিৎসাকর্মীর সঙ্গে মিলিয়ে এটি যাচাই করেন: মডেলটি চিকিৎসাকর্মীদের সম্মিলিত উত্তরের সঙ্গে প্রায় ততবারই একমত হয়েছিল যতবার একজন চিকিৎসাকর্মী, ৮৪.৬% বনাম ৮৩.০%। গবেষকেরা অনুরোধগুলোর লেখা কখনো দেখেননি, শুধু লেবেল দেখেছেন।

চিকিৎসাকর্মীরা আসলে কী জিজ্ঞেস করেন

নথিভুক্তি ও প্রশাসন: ৩৬.২% — ক্লিনিক্যাল নোট, সেবা-পরিকল্পনা, ছাড়পত্রের নির্দেশনা, নথির সারসংক্ষেপ, রোগীদের বার্তার জবাব।
তথ্য খোঁজা: ২৮.৯%, যার মধ্যে ওষুধের তথ্য (১৪.১%)।
কোনো পরিস্থিতি নিয়ে ক্লিনিক্যাল যুক্তি: ১৪.৩%, যার মধ্যে রোগনির্ণয় মাত্র ৩.৭%।
এক-চতুর্থাংশ অনুরোধ ছিল নিছক কিওয়ার্ডের টুকরো, আর অর্ধেকের বেশিতে ক্লিনিক্যাল সংক্ষিপ্ত রূপ ব্যবহৃত হয়েছিল।
বিশেষজ্ঞরা প্রায়ই নিজের ক্ষেত্রের বাইরে চলে যেতেন: তাঁদের ক্লিনিক্যাল প্রশ্নের ৪৩.৯% ছিল এমন রোগ নিয়ে, যা অন্য কোনো বিভাগ সামলায়।

অনেক প্রশ্নের উত্তর যেভাবে করা হয়েছে সেভাবে দেওয়া যায় না

এক-তৃতীয়াংশের বেশি অনুরোধের (৩৬.১%), যেভাবে লেখা হয়েছিল সেভাবে, ভালো উত্তর দেওয়া সম্ভব ছিল না। ২২.২% ক্ষেত্রে ভালো উত্তরের জন্য এমন তথ্য দরকার ছিল যা বার্তায় ছিল না — রোগীর ইতিহাস, হাসপাতালের ওষুধের তালিকা বা প্রোটোকল। প্রায় এক-চতুর্থাংশ অনুরোধে সবচেয়ে নিরাপদ জবাব ছিল একটি স্পষ্টীকরণের প্রশ্ন; প্রত্যাখ্যান করা বা প্রশ্নটি কোনো মানুষের হাতে তুলে দেওয়া প্রায় কখনোই সেরা বিকল্প ছিল না।

মডেলটি বিচার করেছিল যে ১৩.২% অনুরোধের ভুল উত্তর দিলে উচ্চ বা গুরুতর সম্ভাব্য ক্ষতি হতে পারে, কিন্তু সে চিকিৎসাকর্মীদের চেয়ে বেশি সতর্ক ছিল: তাঁদের ঐকমত্য অনুযায়ী পুনর্মাপন করলে সংখ্যাটি নেমে আসে প্রায় ৩.৭%-এ। এই ঝুঁকিপূর্ণ অনুরোধগুলো জমা হয়েছিল ওষুধের মাত্রা এবং কোনো পরিকল্পিত পদক্ষেপ নিয়ে সিদ্ধান্ত বা যাচাইকে ঘিরে।

অন্য কাজের জন্য বানানো পরীক্ষা

এরপর দলটি একই ছক ৫৮টি প্রকাশ্য চিকিৎসা-AI বেঞ্চমার্কে প্রয়োগ করে। সাধারণ বেঞ্চমার্কে নথিভুক্তির কোনো অনুরোধই ছিল না, আর তার কাজের মিশ্রণ আসল ব্যবহারের সঙ্গে মাত্র ৩১% মিলত — যা সব ধরনের কাজে সমানভাবে প্রশ্ন ভাগ করে দেওয়া একটি বেঞ্চমার্কের (৫৫%) চেয়েও কম। ক্লিনিক্যাল চর্চার মতো দেখাতে বানানো পরীক্ষা-সংকলনের বেঞ্চমার্কগুলোও এর চেয়ে কাছাকাছি ছিল না। বহুল ব্যবহৃত পরীক্ষা-ধাঁচের MedQA-তে রোগনির্ণয় ছিল ৪৮% প্রশ্ন, আর প্রায় প্রতিটি প্রশ্নের সেরা উত্তর ছিল সরাসরি জবাব দেওয়া।

একটি হাসপাতাল, একটি টুল

গবেষণাটি একটিমাত্র স্বাস্থ্যব্যবস্থা আর একটিমাত্র সহকারী নিয়ে; এটি সহকারীর উত্তরগুলো দেখেনি, তাই এটি প্রকৃত নয়, সম্ভাব্য ক্ষতি মাপে। কোনো অনুরোধ কতটা ঝুঁকিপূর্ণ, তা নিয়ে চিকিৎসাকর্মীরা নিজেদের মধ্যে সামান্যই একমত ছিলেন। একজন লেখক অন্যান্য স্বার্থের পাশাপাশি Google-এর পরামর্শদাতা হওয়ার কথা ঘোষণা করেছেন, আর আরেকজন একটি স্বাস্থ্য-AI কোম্পানির। লেখকেরা তাঁদের ছক ও বেঞ্চমার্ক-অ্যাটলাস প্রকাশ করেছেন, যাতে অন্য হাসপাতালগুলো নিজেদের ব্যবহারের চিত্র তৈরি করতে পারে। পরীক্ষা নির্মাতাদের প্রতি তাঁদের বার্তা: চিকিৎসাকর্মীরা আসলে যে কাজ নিয়ে AI-এর কাছে আসেন, সেই কাজেই AI-কে মূল্যায়ন করুন।