DOKTORLAR YAPAY ZEKÂDAN TEŞHİS DEĞİL, EVRAK İŞİ İSTİYOR
Hastaneler artık çalışanlarına büyük dil modellerine dayalı güvenli yapay zekâ asistanları sunuyor. Bu asistanların hazır olup olmadığına çoğunlukla kıyaslama (benchmark) puanlarıyla karar veriliyor — sınav tarzı sorular ya da özenle seçilmiş vakalar; modeller bunlarda artık neredeyse tam puan alıyor. Makale, 2024 başına kadar yayımlanan sağlık alanındaki 519 dil modeli değerlendirmesinden yalnızca %5’inin gerçek hasta bakımı verisi kullandığını belirtiyor.
Bir kıyaslama, ancak soruları sağlık çalışanlarının gerçekte sorduklarına benziyorsa gerçek kullanım hakkında bir şey söyler. Çoğu NYU Langone Health ve New York Üniversitesi’nden Krithik Vishwanath, Tim Requarth, Eric Oermann ve meslektaşları bunu ölçmeye koyuldu.
127.833 gerçek talep
Ekip, çok hastaneli büyük bir akademik sağlık sisteminde sağlık çalışanları ile güvenli yapay zekâ asistanı arasında Ağustos 2025’ten Nisan 2026’ya kadar geçen 127.833 konuşmanın ilk mesajını analiz etti. Mesajlar 35 uzmanlık alanından 6.342 kişiden geliyordu: uzman hekimler, yan dal asistanları, asistan hekimler, uzman hemşireler (nurse practitioner), hekim yardımcıları ve hemşireler. Taleplerin yarısı, yapay zekâ değerlendirmelerine nadiren dâhil edilen gruplar olan hemşirelerden ve ileri uygulama sağlık profesyonellerinden geldi.
Araştırmacılar her talebi etiketlemek için RCQ-Map adlı 20 alanlı bir tablo oluşturdu (görev, niyet, eksik bilgi, olası zarar, en güvenli yanıt…) ve bunu bir yapay zekâ modeline, OpenAI’ın GPT-5.6 sol modeline uygulattı. Önce bunu 100 talep üzerinde yedi sağlık çalışanıyla karşılaştırdılar: model, sağlık çalışanlarının ortak cevabıyla neredeyse bir sağlık çalışanı kadar sık uyuştu, %84,6’ya karşı %83,0. Araştırmacılar taleplerin metnini hiç görmedi, yalnızca etiketleri gördü.
Sağlık çalışanları gerçekte ne soruyor
- Belgeleme ve idari işler: %36,2 — klinik notlar, bakım planları, taburcu talimatları, dosya özetleri, hasta mesajlarına yanıtlar.
- Bilgi arama: %28,9, ilaç bilgisi dâhil (%14,1).
- Bir durum hakkında klinik akıl yürütme: %14,3; bunun içinde teşhis yalnızca %3,7.
- Taleplerin dörtte biri yalnızca anahtar kelime parçalarından ibaretti ve yarısından fazlasında klinik kısaltmalar kullanılmıştı.
- Uzmanlar sık sık kendi alanlarının dışına çıkıyordu: klinik sorularının %43,9’u başka bir bölümün yönettiği hastalıklarla ilgiliydi.
Pek çok soru sorulduğu hâliyle yanıtlanamıyor
Taleplerin üçte birinden fazlası (%36,1) yazıldığı hâliyle iyi yanıtlanamıyordu. Vakaların %22,2’sinde iyi bir cevap, mesajda bulunmayan bilgiyi gerektiriyordu — hastanın öyküsü, hastanenin ilaç listesi ya da protokolleri. Taleplerin yaklaşık dörtte biri için en güvenli yanıt bir netleştirici soru idi; reddetmek ya da soruyu bir insana devretmek neredeyse hiçbir zaman en iyi seçenek değildi.
Model, taleplerin %13,2’sini yanlış yanıtlanırsa yüksek ya da kritik düzeyde zarar potansiyeli taşıyan talepler olarak değerlendirdi; ancak sağlık çalışanlarından daha temkinliydi: onların uzlaşısına göre yeniden ayarlandığında bu oran yaklaşık %3,7’ye düşüyor. Bu riskli talepler ilaç dozları ile planlanan bir eyleme ilişkin kararlar ya da kontroller etrafında yoğunlaşıyordu.
Başka bir iş için tasarlanmış testler
Ekip ardından aynı tabloyu 58 kamuya açık tıbbi yapay zekâ kıyaslamasına uyguladı. Tipik bir kıyaslamada hiç belgeleme talebi yoktu ve görev dağılımı gerçek kullanımla yalnızca %31 örtüşüyordu — sorularını tüm görev türlerine eşit dağıtan bir kıyaslamanın sağlayacağından (%55) bile daha az. Klinik pratiğe benzemek üzere tasarlanmış paketlerden gelen kıyaslamalar da daha yakın değildi. Yaygın kullanılan sınav tarzı bir test olan MedQA’da teşhis maddelerin %48’ini oluşturuyordu ve neredeyse her madde en iyi doğrudan yanıtlanıyordu.
Tek hastane, tek araç
Çalışma tek bir sağlık sistemini ve tek bir asistanı kapsıyor; asistanın yanıtlarına bakmadı, dolayısıyla gerçekleşmiş zararı değil potansiyel zararı ölçüyor. Sağlık çalışanları bir talebin ne kadar riskli olduğu konusunda birbirleriyle ancak sınırlı ölçüde uyuştu. Yazarlardan biri, başka çıkarların yanı sıra Google’a danışmanlık yaptığını, bir diğeri de bir sağlık yapay zekâsı şirketine danışmanlık yaptığını beyan ediyor. Yazarlar, diğer hastanelerin kendi kullanım profillerini çıkarabilmesi için tablolarını ve kıyaslama atlaslarını yayımlıyor. Test geliştiricilerine mesajları şu: yapay zekâyı, sağlık çalışanlarının ona gerçekte getirdiği işler üzerinden değerlendirin.