যে AI ফুসফুসের বদলে হাসপাতালের ছাপ পড়ে

বুকের এক্স-রের একটি শ্রেণিবিন্যাসকারী ফুসফুসের রোগের বদলে সেই কোডটি পড়তে শিখে যেতে পারে, যা হাসপাতাল প্রতিটি ছবির কোণে ছাপ মেরে দেয়। তখন সে ওই হাসপাতালের ডেটায় ভালো করে আর পরের হাসপাতালে নিঃশব্দে ব্যর্থ হয়। আগের গবেষণাগুলো কোভিড-19 ও নিউমোনিয়া শ্রেণিবিন্যাসকারীতে এটি নথিভুক্ত করেছিল। তারা যা বলতে পারেনি তা হলো মডেলের কোন অংশ এই পড়ার কাজটি করে, এবং সেই অংশ সরিয়ে দিলে কাজ হবে কি না।

ব্যাখ্যার প্রচলিত হাতিয়ার — Grad-CAM-এর মতো হিট ম্যাপ, অ্যাটেনশন রোলআউট, LIME — দেখায় মডেল কোথায় তাকিয়েছিল। তারা দায়ী উপাদানটি শনাক্ত করে না, কার্যকারণও প্রতিষ্ঠা করতে পারে না। মাকেরেরে বিশ্ববিদ্যালয়ের জোশুয়া মুহুমুজা (Joshua Muhumuza) ও কর্নেলিয়াস কালেনজি (Cornelius Kalenzi) তাই ধার নিয়েছেন যান্ত্রিক ব্যাখ্যাযোগ্যতার (mechanistic interpretability) হাতিয়ার-বাক্স, যা ভাষা-মডেলের ব্যবচ্ছেদের জন্য তৈরি হয়েছিল, এবং সেটি প্রয়োগ করেছেন একটি ভিশন ট্রান্সফর্মারে (Vision Transformer)।

শিক্ষণ হাসপাতাল থেকে জেলা ক্লিনিকে

লেখকেরা ঝুঁকিটি সুনির্দিষ্টভাবে তুলে ধরেন। ট্রান্সফর্মারভিত্তিক এক্স-রে শ্রেণিবিন্যাসকারী ক্রমশ স্বল্প-সম্পদের পরিবেশে যক্ষ্মা ও নিউমোনিয়া শনাক্তকরণে ব্যবহৃত হচ্ছে; প্রায়ই এগুলো একটি বড় রেফারেল হাসপাতালে প্রশিক্ষিত হয় এবং পুনর্নিরীক্ষা ছাড়াই জেলা হাসপাতাল বা ভ্রাম্যমাণ ইউনিটে নিয়ে যাওয়া হয়, যেখানে যন্ত্র আলাদা, সফটওয়্যার আলাদা, লেবেল লাগানোর অভ্যাসও আলাদা। যে মডেল তার মূল হাসপাতালের ছাপ শিখে ফেলেছে, সে এমন একটি ক্লিনিকের মুখোমুখি হওয়ামাত্র দুর্বল হয়ে পড়বে, যেটি কোনো ছাপ দেয় না, বা অন্য কোথাও অন্য কিছু ছাপে।

144টির মধ্যে একটি হেড

গবেষণার মডেল ViT-Base/16 (প্রকাশ্য চেকপয়েন্ট google/vit-base-patch16-224, ImageNet-21k-তে প্রাক-প্রশিক্ষিত) প্রতিটি ছবিকে 196টি প্যাচে কাটে এবং 12টি স্তরের মধ্য দিয়ে প্রক্রিয়া করে, যার প্রতিটিতে 12টি অ্যাটেনশন হেড। দলটি সব 144টি হেডকে নম্বর দিয়েছে তাদের মনোযোগ কতটা কেন্দ্রীভূত আর কতদূর বিস্তৃত, তার ভিত্তিতে।

কেন্দ্রীভবন হঠাৎ দেখা দেয় 7 থেকে 9 নম্বর স্তরে। একটি হেড একেবারে আলাদা: L8H10, 8 নম্বর স্তরের 10 নম্বর হেড। এটি তার মনোযোগের 34.6% একটিমাত্র প্যাচে দেয় — অন্য যেকোনো হেডের চেয়ে 2.8 গুণ বেশি। ওপরের বাঁ কোণে “D CLINO” লেখা একটি এক্স-রেতে এটি তার মনোযোগের 0.346 অংশ সেই প্যাচে দেয়, যা 0.0051-এর সমবণ্টিত স্তরের 68 গুণ, অথচ ফুসফুস প্রায় কিছুই পায় না।

পরীক্ষিত প্রথম এক্স-রেতে হেড L8H10: কোণের টীকার ওপর একটি উজ্জ্বল বিন্দু, ফুসফুসের ওপর প্রায় কালো। — চিত্র 4, Muhumuza and Kalenzi (2026), arXiv:2610.21638.

কোভিড-19-এর 200টি এক্স-রের মধ্যে 123টিতে (62%) হেডটি এভাবে আচরণ করে। সেই ছবিগুলোতে কোণের প্রতি মনোযোগ গড়ে ফুসফুসের প্রতি মনোযোগের 57.5 গুণ; বাকিগুলোতে 0.77 গুণ। দুটি দল একে অপরের ওপর পড়ে না। এই আচরণের পূর্বাভাস দেয় উজ্জ্বলতা নয়, বরং কোণের স্থানীয় বৈপরীত্য (contrast) — ঠিক যা হালকা পটভূমিতে গাঢ় অক্ষর তৈরি করে।

প্রতিটি হেডের সর্বোচ্চ একক-প্যাচ মনোযোগ: L8H10 (লাল) 0.346-এ, পরেরটি 0.124-এ। — চিত্র 3, Muhumuza and Kalenzi (2026), arXiv:2610.21638.

মুছে দিয়ে প্রমাণ

কোণটি সমতল ধূসর রঙে ঢেকে দেওয়া পরিচ্ছন্ন পরীক্ষা নয়: একটি সমরূপ ধূসর বর্গ নিজেই উচ্চ বৈপরীত্যের এবং হেডটিকে আকর্ষণ করে। তাই লেখকেরা কোণটি ইনপেইন্ট (inpaint) করেছেন, অর্থাৎ বাস্তবসম্মত কলার বুনট দিয়ে ভরিয়ে দিয়েছেন। তখন 200টির মধ্যে 158টি ছবিতে (79%) কোণের প্রতি মনোযোগ কমে গেছে। প্রভাবিত ছবিগুলোতে ফুসফুসের প্রতি মনোযোগ 1.52 গুণ বেড়েছে; বাকিগুলোতে নড়েনি (0.99 গুণ)। হেডটিকে চালায় লেখাটি নিজেই, উজ্জ্বলতা বা কিনারা নয়।

প্যাটার্নটি অন্যত্রও পুনরাবৃত্ত হয়: NIH ChestX-ray14 ডেটাসেটের 200টি এক্স-রের 79%-এ, এবং আরও দুটি স্থাপত্যে — DeiT-Base (হেড L9H2, 88%) ও ViT-Large/16 (হেড L8H8, 80%)।

যে সার্কিট কারও পরীক্ষায় ধরা পড়ে না

কেন্দ্রীয় ফলাফলটি নেতিবাচক। একই স্থাপত্যে তৈরি একটি পাঁচ-শ্রেণির এক্স-রে শ্রেণিবিন্যাসকারীতে L8H10 বন্ধ করলে 5% পূর্বাভাস বদলেছে — কিন্তু স্বাভাবিক ছবিতে ঠিক ততবারই যতবার প্রভাবিত ছবিতে (p = 0.340)। স্বাধীনভাবে প্রশিক্ষিত একটি দ্বিতীয় নিউমোনিয়া শ্রেণিবিন্যাসকারী একই শূন্য ফল দিয়েছে। তিনটি সন্দেহভাজন হেড (L8H10, L7H2, L9H3) একসঙ্গে বন্ধ করলে পরিবর্তন দ্বিগুণ হয়ে 10% হয়েছে, তবু কোনো নির্দিষ্ট প্রভাব নেই (p = 0.532)।

লেখকেরা একে পড়েন অতিরিক্ততা (redundancy) হিসেবে: তথ্য বহু উপাদানে ছড়িয়ে আছে, তাই সবচেয়ে দৃশ্যমান বাহকগুলো সরিয়ে দিলে বাকিরাই কাজটা করে ফেলে। পুনঃপ্রশিক্ষণেও লাভ হয় না। এক্স-রেতে পূর্ণ ফাইন-টিউনিংয়ের পরেও 123টি প্রভাবিত ছবির 121টি (98.4%) হেডটিকে সক্রিয় করেছে, কারণ যে ডেটায় লেবেল লাগানোর অভ্যাস বলে দেয় ছবিটি কোন হাসপাতাল — এবং কোন রোগ — থেকে এসেছে, সেখানে ছাপটি পূর্বাভাসযোগ্যই থেকে যায়।

চালুর আগে ভেতরে তাকান

লেখকেরা লিখেছেন, বিপদটি একটি ভুল রোগনির্ণয় নয়, বরং একটি লুকোনো দুর্বলতা, যা মডেল হাসপাতাল বদলালে সক্রিয় হয়ে ওঠে। তাঁদের সুপারিশ: অ্যাটেনশন হেড নিরীক্ষা করুন, বাহকদের শনাক্ত করুন, কার্যকারণগতভাবে যাচাই করুন, এবং তা করুন চালুর আগে — বিশেষত প্রতিষ্ঠান থেকে প্রতিষ্ঠানে। তাঁদের জানা একমাত্র নির্ভরযোগ্য সমাধান ডেটার স্তরে: টীকা মুছে ফেলা ছবিতে প্রশিক্ষণ, অথবা প্রশিক্ষণের সময় শনাক্ত হেডগুলোকে শাস্তি দেওয়া।

সীমাবদ্ধতাও বলা আছে। কোণের অঞ্চল ও সীমামান এই ডেটাসেটগুলোর জন্য ঠিক করা হয়েছিল; ফাইন-টিউনিং পরীক্ষায় মাত্র 200টি ছবি ব্যবহৃত হয়েছে; আর চূড়ান্ত পরীক্ষাটি — একই আকারের টীকাযুক্ত বনাম টীকাহীন ছবিতে প্রশিক্ষণ — এখনও করা বাকি।