AI YANG MEMBACA STEMPEL RUMAH SAKIT, BUKAN PARU-PARU

Sebuah pengklasifikasi rontgen dada bisa belajar membaca kode yang dicap rumah sakit di sudut setiap gambar alih-alih penyakit di paru-paru. Akibatnya, pengklasifikasi itu bekerja baik pada data dari rumah sakit tersebut dan gagal diam-diam di rumah sakit berikutnya. Studi-studi sebelumnya telah mendokumentasikan hal ini pada pengklasifikasi COVID-19 dan pneumonia. Yang tidak dapat mereka jelaskan adalah bagian mana dari model yang melakukan pembacaan itu, dan apakah membuang bagian tersebut akan membantu.

Alat penjelasan yang lazim — peta panas seperti Grad-CAM, attention rollout, LIME — menunjukkan ke mana model melihat. Alat-alat itu tidak mengidentifikasi komponen yang bertanggung jawab, dan tidak dapat membuktikan sebab-akibat. Joshua Muhumuza dan Cornelius Kalenzi dari Universitas Makerere justru meminjam perangkat interpretabilitas mekanistik, yang dikembangkan untuk membedah model bahasa, lalu menerapkannya pada sebuah Vision Transformer.

Dari rumah sakit pendidikan ke klinik daerah

Para penulis menggambarkan taruhannya secara konkret. Pengklasifikasi rontgen berbasis transformer makin banyak dipakai untuk menyaring tuberkulosis dan pneumonia di wilayah dengan sumber daya terbatas, sering kali dilatih di rumah sakit rujukan besar lalu dipindahkan, tanpa audit ulang, ke rumah sakit daerah atau unit keliling dengan mesin berbeda, perangkat lunak berbeda, dan kebiasaan pelabelan yang berbeda. Model yang telah mempelajari stempel rumah sakit asalnya akan merosot kinerjanya begitu bertemu klinik yang tidak mencap apa pun, atau mencap hal lain, di tempat lain.

Satu kepala dari 144

Model yang diteliti, ViT-Base/16 (checkpoint publik google/vit-base-patch16-224, yang dilatih awal pada ImageNet-21k), memotong setiap gambar menjadi 196 petak (patch) dan memprosesnya melalui 12 lapisan yang masing-masing memiliki 12 kepala atensi. Tim menilai seluruh 144 kepala berdasarkan seberapa terfokus dan seberapa jauh jangkauan atensinya.

Fokus muncul secara tiba-tiba pada lapisan 7 hingga 9. Satu kepala tampil berbeda: L8H10, kepala ke-10 pada lapisan ke-8. Kepala ini menaruh 34,6% atensinya pada satu petak saja — 2,8 kali lebih banyak daripada kepala lain mana pun. Pada sebuah foto rontgen yang bertanda “D CLINO” di sudut kiri atas, kepala itu memberikan 0,346 atensinya pada petak tersebut, 68 kali tingkat seragam 0,0051, sementara paru-paru nyaris tidak mendapat apa-apa.

Kepala L8H10 pada foto rontgen pertama yang diperiksa: satu titik terang pada anotasi di sudut, nyaris hitam di paru-paru. — Gambar 4, Muhumuza dan Kalenzi (2026), arXiv:2610.21638.

Dari 200 foto rontgen COVID-19, kepala itu berperilaku demikian pada 123 (62%). Pada gambar-gambar tersebut, atensi pada sudut rata-rata 57,5 kali atensi pada paru-paru; pada gambar lainnya, 0,77 kali. Kedua kelompok itu tidak tumpang tindih. Yang memprediksi perilaku ini bukanlah kecerahan, melainkan kontras lokal di sudut — persis yang dihasilkan huruf gelap di atas latar terang.

Atensi maksimum pada satu petak untuk setiap kepala: L8H10 (merah) mencapai 0,346, yang berikutnya 0,124. — Gambar 3, Muhumuza dan Kalenzi (2026), arXiv:2610.21638.

Bukti lewat penghapusan

Menutup sudut dengan warna abu-abu rata bukanlah uji yang bersih: kotak abu-abu seragam itu sendiri berkontras tinggi dan menarik perhatian kepala tersebut. Karena itu, para penulis melakukan inpainting pada sudut, mengisinya dengan tekstur jaringan yang realistis. Atensi pada sudut kemudian turun pada 158 dari 200 gambar (79%). Pada gambar yang terdampak, atensi pada paru-paru naik 1,52 kali lipat; pada yang lain, tidak berubah (0,99 kali). Teks itu sendirilah, bukan kecerahan atau tepi, yang menggerakkan kepala tersebut.

Pola ini berulang di tempat lain: pada 79% dari 200 foto rontgen dari kumpulan data NIH ChestX-ray14, dan pada dua arsitektur lain — DeiT-Base (kepala L9H2, 88%) dan ViT-Large/16 (kepala L8H8, 80%).

Sirkuit yang tak terlihat oleh uji siapa pun

Hasil utamanya negatif. Pada pengklasifikasi rontgen lima kelas yang dibangun di atas arsitektur yang sama, mematikan L8H10 mengubah 5% prediksi — tetapi sama seringnya pada gambar normal maupun gambar yang terdampak (p = 0,340). Pengklasifikasi pneumonia kedua, yang dilatih secara independen, memberikan hasil nihil yang sama. Mematikan ketiga kepala yang dicurigai sekaligus (L8H10, L7H2, L9H3) melipatgandakan perubahan menjadi 10%, tetap tanpa efek yang spesifik (p = 0,532).

Para penulis menafsirkannya sebagai redundansi: informasinya tersebar di banyak komponen, sehingga membuang pembawa yang paling kelihatan membuat sisanya mengambil alih tugas itu. Pelatihan ulang pun tidak membantu. Setelah penyetelan ulang (fine-tuning) penuh pada foto rontgen, 121 dari 123 gambar terdampak (98,4%) masih memicu kepala itu, karena stempel tetap bersifat prediktif dalam data yang kebiasaan pelabelannya mengikuti dari rumah sakit mana — dan dari penyakit apa — sebuah gambar berasal.

Intip ke dalam sebelum menerapkan

Bahayanya, tulis para penulis, bukanlah satu diagnosis yang salah, melainkan kerentanan tersembunyi yang aktif ketika sebuah model pindah rumah sakit. Rekomendasi mereka: audit kepala-kepala atensi, identifikasi pembawanya, verifikasi secara kausal, dan lakukan sebelum penerapan — terutama antarinstitusi. Satu-satunya perbaikan andal yang mereka ketahui ada di tingkat data: melatih dengan gambar yang telah dibersihkan dari anotasi, atau memberi penalti pada kepala yang teridentifikasi selama pelatihan.

Batasannya juga dinyatakan. Wilayah sudut dan ambangnya ditetapkan untuk kumpulan data ini; uji penyetelan ulang hanya memakai 200 gambar; dan eksperimen penentu — melatih dengan gambar beranotasi dibandingkan gambar tanpa anotasi dengan ukuran yang sama — masih harus dilakukan.