这个AI看的是医院的标记，而不是肺

一个胸部X光片分类器，可能学会去读医院盖在每张图像角落里的编码，而不是肺部的病变。这样，它在那家医院的数据上表现良好，到了下一家医院却会悄无声息地失灵。早先的研究已经在新冠肺炎和肺炎分类器中记录了这种现象。它们无法回答的是：读这些标记的是模型的哪个部分，以及去掉这个部分是否有用。

常用的解释工具——Grad-CAM之类的热图、注意力展开（attention rollout）、LIME——能显示模型看了哪里。但它们无法识别出负责的组件，也无法确立因果关系。马凯雷雷大学的Joshua Muhumuza和Cornelius Kalenzi转而借用了机制可解释性（mechanistic interpretability）的工具箱——这套工具原本是为剖析语言模型而开发的——并把它应用到一个视觉Transformer（Vision Transformer）上。

从教学医院到区级诊所

作者具体地阐明了其中的利害。基于Transformer的X光片分类器越来越多地用于资源匮乏地区的结核病和肺炎筛查，它们通常在一家大型转诊医院训练，然后不经重新审查就被搬到区级医院或流动医疗单位，那里的设备不同、软件不同、标注习惯也不同。一个学会了“老家”医院标记的模型，一旦遇到不做任何标记、或在别处做别的标记的诊所，性能就会立刻下降。

144个头中的一个

所研究的模型是ViT-Base/16（公开检查点google/vit-base-patch16-224，在ImageNet-21k上预训练），它把每张图像切成196个图块，用12层、每层12个注意力头来处理。团队对全部144个头的注意力集中程度和覆盖范围进行了评分。

注意力的集中在第7到第9层突然出现。有一个头与众不同：L8H10，即第8层的第10个头。它把**34.6%**的注意力放在单个图块上——是其他任何头的2.8倍。在一张左上角标有“D CLINO”的X光片上，它把0.346的注意力放在那个图块上，是均匀水平0.0051的68倍，而肺部几乎什么也没分到。

一张左上角带标签的胸部X光片，旁边是一张只在那个角落亮起的注意力图。

注意力头L8H10在所检查的第一张X光片上的表现：角落的标注处有一个亮点，肺部几乎全黑。——图4，Muhumuza和Kalenzi（2026），arXiv:2610.21638。

在200张新冠肺炎X光片中，这个头在123张（62%）上表现出这种行为。在这些图像中，对角落的注意力平均是对肺部注意力的57.5倍；在其余图像中则是0.77倍。两组数据没有重叠。能预测这种行为的不是亮度，而是角落里的局部对比度——浅色背景上的深色字母恰恰会产生这种对比。

144个头的最大注意力热图，其中有一个深色单元格；以及一张柱状图，其中一根红色柱子远远高出其余柱子。

每个头的最大单图块注意力：L8H10（红色）为0.346，第二名为0.124。——图3，Muhumuza和Kalenzi（2026），arXiv:2610.21638。

用擦除来证明

用纯灰色遮盖角落并不是一个干净的检验：一个均匀的灰色方块本身就具有高对比度，会吸引这个头。因此，作者改用图像修复（inpainting）的方法，用逼真的组织纹理填充角落。结果，在200张图像中有158张（79%）对角落的注意力下降了。在受影响的图像中，对肺部的注意力增加到1.52倍；在其他图像中则没有变化（0.99倍）。驱动这个头的是文字本身，而不是亮度或边缘。

这一模式在别处也重复出现：在NIH ChestX-ray14数据集的200张X光片中占79%，在另外两种架构中也是如此——DeiT-Base（头L9H2，88%）和ViT-Large/16（头L8H8，80%）。

任何人的测试都看不见的回路

核心结果是否定性的。在一个基于同样架构构建的五分类X光片分类器中，关闭L8H10改变了5%的预测——但在正常图像上和在受影响图像上改变得一样频繁（p = 0.340）。另一个独立训练的肺炎分类器也给出了同样的零结果。同时关闭全部三个可疑的头（L8H10、L7H2、L9H3），预测的变化翻倍到10%，但仍然没有特定效应（p = 0.532）。

作者把这解读为冗余：信息分散在许多组件中，所以去掉最显眼的载体后，其余部分仍能完成任务。重新训练也无济于事。在X光片上进行完整微调后，123张受影响图像中仍有121张（98.4%）会触发这个头，因为在标注习惯与图像来自哪家医院——以及哪些疾病——相关联的数据中，这个标记依然具有预测性。

部署之前，先看看内部

作者写道，危险不在于某一次错误诊断，而在于一种隐藏的脆弱性，它会在模型换到另一家医院时被激活。他们的建议是：审查注意力头，找出这些载体，从因果上加以验证，并且在部署之前完成——尤其是在跨机构使用时。他们所知道的唯一可靠的修正都在数据层面：用去除了标注的图像进行训练，或者在训练中对已识别出的头施加惩罚。

作者也说明了局限。角落区域和阈值是针对这些数据集设定的；微调测试只用了200张图像；而决定性的实验——用同样规模的带标注图像与去标注图像分别训练——仍有待完成。