ఊపిరితిత్తులకు బదులు ఆసుపత్రి ముద్రను చదివే AI

ఒక ఛాతీ ఎక్స్-రే వర్గీకరణి, ఊపిరితిత్తుల్లోని వ్యాధికి బదులు, ఆసుపత్రి ప్రతి చిత్రం మూలలో ముద్రించే కోడ్‌ను చదవడం నేర్చుకోవచ్చు. అప్పుడు అది ఆ ఆసుపత్రి డేటాపై బాగా పనిచేసి, తర్వాతి ఆసుపత్రిలో నిశ్శబ్దంగా విఫలమవుతుంది. గత అధ్యయనాలు COVID-19, న్యుమోనియా వర్గీకరణుల్లో దీన్ని నమోదు చేశాయి. అవి చెప్పలేకపోయింది ఏమిటంటే, మోడల్‌లోని ఏ భాగం ఈ చదువును చేస్తుంది, ఆ భాగాన్ని తొలగిస్తే ఉపయోగం ఉంటుందా అనేది.

సాధారణ వివరణ సాధనాలు — Grad-CAM వంటి హీట్ మ్యాప్‌లు, attention rollout, LIME — మోడల్ ఎక్కడ చూసిందో చూపిస్తాయి. అవి బాధ్యత వహించే భాగాన్ని గుర్తించవు, కార్యకారణ సంబంధాన్ని స్థాపించలేవు. మకెరెరే విశ్వవిద్యాలయానికి చెందిన జాషువా ముహుముజా (Joshua Muhumuza), కార్నెలియస్ కాలెంజీ (Cornelius Kalenzi) బదులుగా, భాషా మోడళ్లను విడదీసి చూడటానికి అభివృద్ధి చేసిన యాంత్రిక వ్యాఖ్యానీయత (mechanistic interpretability) సాధనాలను అరువు తెచ్చుకుని, వాటిని ఒక విజన్ ట్రాన్స్‌ఫార్మర్‌పై ప్రయోగించారు.

బోధనా ఆసుపత్రి నుంచి జిల్లా క్లినిక్ వరకు

రచయితలు ఏం ప్రమాదంలో ఉందో స్పష్టంగా చెబుతారు. ట్రాన్స్‌ఫార్మర్ ఆధారిత ఎక్స్-రే వర్గీకరణులు వనరులు తక్కువగా ఉన్న ప్రాంతాల్లో క్షయ, న్యుమోనియా స్క్రీనింగ్ కోసం ఎక్కువగా వాడబడుతున్నాయి; తరచుగా ఒక పెద్ద రిఫరల్ ఆసుపత్రిలో శిక్షణ పొంది, మళ్లీ తనిఖీ చేయకుండానే, వేరే యంత్రాలు, వేరే సాఫ్ట్‌వేర్, వేరే లేబులింగ్ అలవాట్లు ఉన్న జిల్లా ఆసుపత్రులకు లేదా సంచార యూనిట్లకు తరలించబడతాయి. తన సొంత ఆసుపత్రి ముద్రను నేర్చుకున్న మోడల్, ఏ ముద్రా వేయని క్లినిక్‌ను, లేదా వేరే చోట వేరేది వేసే క్లినిక్‌ను ఎదుర్కొన్న క్షణమే దిగజారిపోతుంది.

144 లో ఒక హెడ్

అధ్యయనం చేసిన మోడల్, ViT-Base/16 (ImageNet-21k పై ముందస్తు శిక్షణ పొందిన బహిరంగ checkpoint google/vit-base-patch16-224), ప్రతి చిత్రాన్ని 196 ముక్కలుగా (patches) కోసి, ఒక్కోదానిలో 12 అటెన్షన్ హెడ్‌లు ఉన్న 12 పొరల గుండా వాటిని ప్రాసెస్ చేస్తుంది. బృందం మొత్తం 144 హెడ్‌లకు, వాటి దృష్టి ఎంత కేంద్రీకృతమై ఉంది, ఎంత దూరం చేరుతుంది అనే దాని ఆధారంగా స్కోర్ ఇచ్చింది.

కేంద్రీకరణ 7 నుంచి 9 పొరల్లో హఠాత్తుగా కనిపిస్తుంది. ఒక హెడ్ మిగతావాటికి భిన్నంగా నిలుస్తుంది: L8H10, 8వ పొరలోని 10వ హెడ్. అది తన దృష్టిలో 34.6% ను ఒకే ముక్కపై పెడుతుంది — మరే హెడ్ కంటే 2.8 రెట్లు ఎక్కువ. పై ఎడమ మూలలో “D CLINO” అని రాసి ఉన్న ఒక ఎక్స్-రేపై, అది తన దృష్టిలో 0.346 ను ఆ ముక్కపై పెడుతుంది, అంటే 0.0051 అనే సమాన స్థాయికి 68 రెట్లు, ఊపిరితిత్తులకు మాత్రం దాదాపు ఏమీ దక్కదు.

పరిశీలించిన మొదటి ఎక్స్-రేపై హెడ్ L8H10: మూలలోని వ్యాఖ్యపై ఒక ప్రకాశవంతమైన చుక్క, ఊపిరితిత్తులపై దాదాపు నలుపు. — Figure 4, Muhumuza and Kalenzi (2026), arXiv:2610.21638.

200 COVID-19 ఎక్స్-రేలలో, ఈ హెడ్ 123 (62%) లో ఇలా ప్రవర్తిస్తుంది. ఆ చిత్రాల్లో, మూలపై దృష్టి సగటున ఊపిరితిత్తులపై దృష్టికి 57.5 రెట్లు; మిగతావాటిలో, 0.77 రెట్లు. ఈ రెండు సమూహాలూ ఒకదానిపై ఒకటి పడవు. ఈ ప్రవర్తనను అంచనా వేసేది ప్రకాశం కాదు, మూలలోని స్థానిక వ్యత్యాసం (contrast) — లేత నేపథ్యంపై ముదురు అక్షరాలు సరిగ్గా సృష్టించేది అదే.

ప్రతి హెడ్‌కూ ఒకే ముక్కపై గరిష్ఠ దృష్టి: L8H10 (ఎరుపు) 0.346 వద్ద, తర్వాతిది 0.124 వద్ద. — Figure 3, Muhumuza and Kalenzi (2026), arXiv:2610.21638.

చెరిపివేయడం ద్వారా రుజువు

మూలను చదునైన బూడిద రంగుతో కప్పడం శుభ్రమైన పరీక్ష కాదు: ఏకరీతి బూడిద చతురస్రం స్వయంగా అధిక వ్యత్యాసం కలిగి ఉండి, హెడ్‌ను ఆకర్షిస్తుంది. కాబట్టి రచయితలు బదులుగా మూలను ఇన్‌పెయింట్ (inpainting) చేశారు, అంటే నిజమైనదిలా కనిపించే కణజాల ఆకృతితో నింపారు. అప్పుడు మూలపై దృష్టి 200 లో 158 చిత్రాల్లో (79%) తగ్గింది. ప్రభావిత చిత్రాల్లో ఊపిరితిత్తులపై దృష్టి 1.52 రెట్లు పెరిగింది; మిగతావాటిలో అది కదల్లేదు (0.99 రెట్లు). ప్రకాశం గానీ అంచులు గానీ కాదు, అక్షరాలే హెడ్‌ను నడిపిస్తాయి.

ఈ నమూనా ఇతర చోట్లా పునరావృతమవుతుంది: NIH ChestX-ray14 డేటాసెట్ నుంచి 200 ఎక్స్-రేలలో 79% లో, ఇంకా మరో రెండు నిర్మాణాల్లో — DeiT-Base (హెడ్ L9H2, 88%), ViT-Large/16 (హెడ్ L8H8, 80%).

ఎవరి పరీక్షలూ చూడలేని సర్క్యూట్

కేంద్ర ఫలితం ప్రతికూలమైనది. అదే నిర్మాణంపై నిర్మించిన ఐదు-తరగతుల ఎక్స్-రే వర్గీకరణిలో, L8H10 ను ఆపివేస్తే 5% అంచనాలు మారాయి — కానీ సాధారణ చిత్రాలపై, ప్రభావిత చిత్రాలపై సమానంగానే (p = 0.340). స్వతంత్రంగా శిక్షణ పొందిన రెండో న్యుమోనియా వర్గీకరణి కూడా అదే శూన్య ఫలితాన్ని ఇచ్చింది. మూడు అనుమానాస్పద హెడ్‌లనూ (L8H10, L7H2, L9H3) ఒకేసారి ఆపివేస్తే మార్పులు రెట్టింపై 10% అయ్యాయి, అయినా ప్రత్యేక ప్రభావం లేదు (p = 0.532).

రచయితలు దీన్ని అదనపు నకలు (redundancy) గా చదువుతారు: సమాచారం అనేక భాగాల్లో వ్యాపించి ఉంటుంది, కాబట్టి అత్యంత కనిపించే వాహకాలను తొలగించినా మిగిలినవి ఆ పని చేస్తాయి. పునఃశిక్షణ కూడా సహాయపడదు. ఎక్స్-రేలపై పూర్తి సూక్ష్మ సర్దుబాటు తర్వాత కూడా, 123 ప్రభావిత చిత్రాల్లో 121 (98.4%) ఇంకా హెడ్‌ను ప్రేరేపించాయి, ఎందుకంటే లేబులింగ్ అలవాట్లు చిత్రం ఏ ఆసుపత్రి నుంచి — ఏ వ్యాధుల నుంచి — వచ్చిందో ప్రతిబింబించే డేటాలో ముద్ర అంచనాకు ఉపయోగపడుతూనే ఉంటుంది.

వాడుకలోకి తెచ్చే ముందు లోపలికి చూడండి

ప్రమాదం ఒక తప్పుడు నిర్ధారణ కాదని, మోడల్ ఆసుపత్రి మారినప్పుడు సక్రియమయ్యే దాగిన బలహీనత అని రచయితలు రాస్తారు. వారి సిఫార్సు: అటెన్షన్ హెడ్‌లను తనిఖీ చేయండి, వాహకాలను గుర్తించండి, వాటిని కార్యకారణపరంగా ధృవీకరించండి, ఇదంతా వాడుకలోకి తెచ్చే ముందే చేయండి — ముఖ్యంగా సంస్థల మధ్య తరలించేటప్పుడు. వారికి తెలిసిన ఏకైక నమ్మదగిన పరిష్కారాలు డేటా స్థాయిలో ఉన్నాయి: వ్యాఖ్యలు తొలగించిన చిత్రాలపై శిక్షణ ఇవ్వడం, లేదా శిక్షణ సమయంలో గుర్తించిన హెడ్‌లకు జరిమానా విధించడం.

పరిమితులు కూడా చెప్పబడ్డాయి. మూల ప్రాంతం, పరిమితి విలువ ఈ డేటాసెట్ల కోసం నిర్ణయించబడ్డాయి; సూక్ష్మ సర్దుబాటు పరీక్షలకు కేవలం 200 చిత్రాలే వాడారు; నిర్ణయాత్మక ప్రయోగం — వ్యాఖ్యలున్న చిత్రాలపై, వ్యాఖ్యలు తొలగించిన అదే సంఖ్యలోని చిత్రాలపై శిక్షణ ఇచ్చి పోల్చడం — ఇంకా చేయాల్సి ఉంది.