هوش مصنوعی‌ای که به‌جای ریه‌ها مُهر بیمارستان را می‌خواند
یک طبقه‌بندِ رادیوگرافی قفسهٔ سینه می‌تواند به‌جای بیماری درون ریه‌ها، کدی را بخواند که بیمارستان در گوشهٔ هر تصویر مُهر می‌زند. آنگاه روی داده‌های همان بیمارستان خوب عمل می‌کند و در بیمارستان بعدی بی‌صدا شکست می‌خورد. پژوهش‌های پیشین این را برای طبقه‌بندهای کووید-19 و ذات‌الریه ثبت کرده بودند. آنچه نمی‌توانستند بگویند این بود که کدام بخش مدل این خواندن را انجام می‌دهد، و اینکه آیا حذف آن بخش کمکی می‌کند.
ابزارهای معمول توضیح — نقشه‌های حرارتی مانند Grad-CAM، attention rollout، LIME — نشان می‌دهند که مدل به کجا نگاه کرده است. آن‌ها جزء مسئول را شناسایی نمی‌کنند و نمی‌توانند علیت را اثبات کنند. جاشوا موهوموزا (Joshua Muhumuza) و کورنلیوس کالنزی (Cornelius Kalenzi) در دانشگاه ماکِرِرِه در عوض جعبه‌ابزار تفسیرپذیری سازوکاری (mechanistic interpretability) را، که برای کالبدشکافی مدل‌های زبانی ساخته شده بود، به عاریه گرفتند و روی یک Vision Transformer به کار بستند.
از بیمارستان آموزشی تا درمانگاه شهرستان
نویسندگان خطر را ملموس ترسیم می‌کنند. طبقه‌بندهای رادیوگرافی مبتنی بر Transformer هرچه بیشتر برای غربالگری سل و ذات‌الریه در محیط‌های کم‌برخوردار به کار می‌روند؛ اغلب در یک بیمارستان ارجاعی بزرگ آموزش می‌بینند و بدون ممیزی دوباره به بیمارستان‌های شهرستان یا واحدهای سیار منتقل می‌شوند که دستگاه‌ها، نرم‌افزارها و عادت‌های برچسب‌گذاری متفاوتی دارند. مدلی که مُهر بیمارستان خانگی‌اش را یاد گرفته باشد، همان لحظه که با درمانگاهی روبه‌رو شود که هیچ مُهری نمی‌زند، یا چیز دیگری را جای دیگری می‌زند، افت می‌کند.
یک سر از 144
مدل بررسی‌شده، ViT-Base/16 (نقطهٔ بازرسی عمومی google/vit-base-patch16-224 که روی ImageNet-21k پیش‌آموزش دیده است)، هر تصویر را به 196 وصله (patch) می‌بُرد و آن‌ها را از 12 لایه، هر یک با 12 سرِ توجه، می‌گذراند. گروه به همهٔ 144 سر بر اساس اینکه توجهشان چقدر متمرکز و چقدر دوربُرد است امتیاز داد.
تمرکز ناگهان در لایه‌های 7 تا 9 پدیدار می‌شود. یک سر متمایز است: L8H10، سر دهمِ لایهٔ هشتم. این سر 34.6٪ از توجهش را بر یک وصلهٔ واحد می‌گذارد — 2.8 برابر هر سر دیگری. روی رادیوگرافی‌ای که در گوشهٔ بالا سمت چپ آن «D CLINO» نوشته شده، 0.346 از توجهش را بر آن وصله می‌گذارد، 68 برابر سطح یکنواخت 0.0051، در حالی که ریه‌ها تقریباً هیچ سهمی نمی‌گیرند.
سر L8H10 روی نخستین رادیوگرافی بررسی‌شده: یک لکهٔ روشن روی یادداشت گوشه، تقریباً سیاه روی ریه‌ها. — شکل 4، Muhumuza و Kalenzi (2026)، arXiv:2610.21638.
در میان 200 رادیوگرافی کووید-19، این سر در 123 مورد (62٪) چنین رفتار می‌کند. در این تصاویر، توجه به گوشه به‌طور میانگین 57.5 برابر توجه به ریه‌هاست؛ در بقیه، 0.77 برابر. این دو گروه هم‌پوشانی ندارند. آنچه این رفتار را پیش‌بینی می‌کند روشنایی نیست، بلکه تباین موضعی (local contrast) در گوشه است — دقیقاً همان چیزی که حروف تیره روی زمینهٔ روشن پدید می‌آورند.
بیشینهٔ توجه به یک وصلهٔ واحد برای هر سر: L8H10 (قرمز) در 0.346، سر بعدی در 0.124. — شکل 3، Muhumuza و Kalenzi (2026)، arXiv:2610.21638.
اثبات با پاک کردن
پوشاندن گوشه با خاکستری یکدست آزمون تمیزی نیست: یک مربع خاکستری یکنواخت خودش پرتباین است و سر را جذب می‌کند. پس نویسندگان در عوض گوشه را ترمیم (inpainting) کردند و آن را با بافت واقع‌نمای بافت بدن پر کردند. آنگاه توجه به گوشه در 158 تصویر از 200 تصویر (79٪) کاهش یافت. در تصاویر متأثر، توجه به ریه‌ها 1.52 برابر شد؛ در بقیه، تکان نخورد (0.99 برابر). خود متن، نه روشنایی یا لبه‌ها، این سر را به حرکت درمی‌آورد.
الگو در جاهای دیگر هم تکرار می‌شود: در 79٪ از 200 رادیوگرافی مجموعه‌دادهٔ NIH ChestX-ray14، و در دو معماری دیگر — DeiT-Base (سر L9H2، 88٪) و ViT-Large/16 (سر L8H8، 80٪).
مداری که آزمون‌های هیچ‌کس نمی‌بیند
نتیجهٔ محوری منفی است. در یک طبقه‌بند پنج‌ردهٔ رادیوگرافی که بر همان معماری ساخته شده بود، خاموش کردن L8H10 5٪ از پیش‌بینی‌ها را تغییر داد — اما روی تصاویر عادی به همان اندازهٔ تصاویر متأثر (p = 0.340). طبقه‌بند دومی برای ذات‌الریه که مستقل آموزش دیده بود همان نتیجهٔ تهی را داد. خاموش کردن هم‌زمان هر سه سر مشکوک (L8H10، L7H2، L9H3) تغییرات را دو برابر کرد و به 10٪ رساند، باز هم بدون اثر اختصاصی (p = 0.532).
نویسندگان این را افزونگی (redundancy) می‌خوانند: اطلاعات میان اجزای بسیاری پخش شده است، پس حذف آشکارترین حاملان کار را به بقیه می‌سپارد. بازآموزی هم کمکی نمی‌کند. پس از تنظیم دقیق کامل روی رادیوگرافی‌ها، 121 مورد از 123 تصویر متأثر (98.4٪) همچنان سر را فعال کردند، زیرا مُهر در داده‌هایی که عادت‌های برچسب‌گذاری در آن‌ها بیانگر بیمارستان مبدأ تصویر — و بیماری‌های آن — است، همچنان پیش‌بینی‌کننده می‌ماند.
پیش از به‌کارگیری، درونش را ببینید
به نوشتهٔ نویسندگان، خطر یک تشخیص اشتباه نیست، بلکه آسیب‌پذیری پنهانی است که وقتی مدل بیمارستانش را عوض می‌کند فعال می‌شود. توصیهٔ آن‌ها: سرهای توجه را ممیزی کنید، حاملان را شناسایی کنید، آن‌ها را به‌طور علّی راستی‌آزمایی کنید، و این کار را پیش از به‌کارگیری — به‌ویژه میان مؤسسه‌ها — انجام دهید. تنها راه‌حل‌های قابل اتکایی که می‌شناسند در سطح داده‌اند: آموزش روی تصاویری که یادداشت‌هایشان زدوده شده، یا جریمه کردن سرهای شناسایی‌شده در طول آموزش.
محدودیت‌ها هم بیان شده‌اند. ناحیهٔ گوشه و آستانه برای همین مجموعه‌داده‌ها تنظیم شدند؛ آزمون‌های تنظیم دقیق تنها از 200 تصویر استفاده کردند؛ و آزمایش تعیین‌کننده — آموزش روی تصاویر یادداشت‌دار در برابر تصاویر پیراسته با اندازهٔ یکسان — هنوز انجام نشده است.