DOKTER MEMINTA AI MENGURUS ADMINISTRASI, BUKAN DIAGNOSIS
Rumah sakit kini menyediakan bagi stafnya asisten AI yang aman berbasis model bahasa besar. Kesiapan asisten-asisten itu sebagian besar dinilai dari skor tolok ukur (benchmark) — soal bergaya ujian atau kasus yang dipilih dengan cermat, yang kini nyaris dijawab sempurna oleh model. Makalah ini mencatat bahwa dari 519 evaluasi model bahasa di bidang kesehatan yang diterbitkan hingga awal 2024, hanya 5% yang menggunakan data nyata perawatan pasien.
Sebuah tolok ukur hanya bermakna bagi penggunaan nyata jika pertanyaannya mirip dengan apa yang benar-benar ditanyakan tenaga klinis. Krithik Vishwanath, Tim Requarth, Eric Oermann, dan rekan-rekan, sebagian besar dari NYU Langone Health dan New York University, berupaya mengukur hal itu.
127.833 permintaan nyata
Tim menganalisis pesan pertama dari 127.833 percakapan antara tenaga klinis dan asisten AI aman milik sebuah sistem kesehatan akademik besar yang terdiri atas banyak rumah sakit, dari Agustus 2025 hingga April 2026. Percakapan itu berasal dari 6.342 orang di 35 spesialisasi: dokter penanggung jawab (attending), fellow, residen, perawat praktik lanjutan (nurse practitioner), asisten dokter (physician assistant), dan perawat. Separuh permintaan berasal dari perawat dan tenaga praktik lanjutan, kelompok yang jarang dilibatkan dalam evaluasi AI.
Untuk melabeli setiap permintaan, para peneliti menyusun kisi 20 kolom bernama RCQ-Map (tugas, maksud, informasi yang kurang, potensi bahaya, respons paling aman…) dan meminta sebuah model AI, GPT-5.6 sol dari OpenAI, untuk menerapkannya. Mereka terlebih dulu mengujinya terhadap tujuh tenaga klinis pada 100 permintaan: model itu sepakat dengan jawaban bersama para klinisi kira-kira sesering seorang klinisi, 84,6% berbanding 83,0%. Para peneliti tidak pernah melihat teks permintaan, hanya labelnya.
Apa yang sebenarnya ditanyakan tenaga klinis
- Dokumentasi dan administrasi: 36,2% — catatan klinis, rencana perawatan, instruksi pulang, ringkasan rekam medis, balasan untuk pesan pasien.
- Mencari pengetahuan: 28,9%, termasuk informasi obat (14,1%).
- Penalaran klinis tentang suatu situasi: 14,3%, dan di dalamnya diagnosis hanya 3,7%.
- Seperempat permintaan hanyalah potongan kata kunci, dan lebih dari separuh menggunakan singkatan klinis.
- Dokter spesialis sering keluar dari bidangnya: 43,9% pertanyaan klinis mereka menyangkut penyakit yang ditangani departemen lain.
Banyak pertanyaan tak bisa dijawab sebagaimana diajukan
Lebih dari sepertiga permintaan (36,1%) tidak dapat dijawab dengan baik sebagaimana tertulis. Pada 22,2% kasus, jawaban yang baik memerlukan informasi yang tidak ada dalam pesan — riwayat pasien, daftar obat rumah sakit, atau protokolnya. Untuk sekitar seperempat permintaan, balasan yang paling aman adalah pertanyaan klarifikasi; menolak atau meneruskan pertanyaan ke manusia hampir tidak pernah menjadi pilihan terbaik.
Model menilai 13,2% permintaan berpotensi menimbulkan bahaya tinggi atau kritis jika dijawab keliru, tetapi model ini lebih berhati-hati daripada para klinisi: setelah dikalibrasi ulang terhadap konsensus mereka, angkanya turun menjadi sekitar 3,7%. Permintaan berisiko ini berkumpul di seputar dosis obat dan di seputar keputusan atau pemeriksaan atas tindakan yang direncanakan.
Uji yang dibuat untuk pekerjaan lain
Tim kemudian menerapkan kisi yang sama pada 58 tolok ukur AI medis publik. Tolok ukur yang tipikal sama sekali tidak memuat permintaan dokumentasi, dan campuran tugasnya hanya tumpang tindih 31% dengan penggunaan nyata — lebih rendah daripada tolok ukur yang menyebar pertanyaannya merata ke semua jenis tugas (55%). Tolok ukur dari rangkaian yang dirancang menyerupai praktik klinis pun tidak lebih dekat. Di MedQA, uji bergaya ujian yang banyak digunakan, diagnosis mencakup 48% butir soal, dan hampir semua butir paling baik dijawab secara langsung.
Satu rumah sakit, satu alat
Studi ini hanya mencakup satu sistem kesehatan dan satu asisten; studi ini tidak memeriksa jawaban asisten, sehingga yang diukur adalah potensi bahaya, bukan bahaya yang benar-benar terjadi. Para klinisi hanya cukup sepakat satu sama lain tentang seberapa berisiko suatu permintaan. Salah satu penulis menyatakan, di antara kepentingan lain, menjadi konsultan bagi Google, dan penulis lain bagi sebuah perusahaan AI kesehatan. Para penulis merilis kisi dan atlas tolok ukur mereka, agar rumah sakit lain dapat memetakan pola penggunaan mereka sendiri. Pesan mereka bagi pembuat uji: nilailah AI berdasarkan pekerjaan yang benar-benar dibawa tenaga klinis kepadanya.