医師がAIに頼むのは診断ではなく書類仕事

病院はいま、大規模言語モデルにもとづく安全なAIアシスタントをスタッフに提供している。そうしたアシスタントの準備ができているかどうかは、主にベンチマークのスコアで判断される。試験形式の問題や慎重に選ばれた症例で、モデルはいまや満点近くを取る。論文によれば、2024年初めまでに発表された医療分野の言語モデル評価519件のうち、実際の患者ケアのデータを使っていたのはわずか5%だった。

ベンチマークが実際の使用について何かを語れるのは、その問題が臨床スタッフの実際の質問に似ている場合だけだ。主にNYUランゴン・ヘルスとニューヨーク大学に所属するクリティック・ヴィシュワナート(Krithik Vishwanath)、ティム・レクアース(Tim Requarth)、エリック・オーマン(Eric Oermann)らは、それを測定しようとした。

12万7833件の実際の依頼

チームは、複数の病院を擁する大規模な大学医療システムで、臨床スタッフと安全なAIアシスタントとのあいだで2025年8月から2026年4月までに交わされた12万7833件の会話について、最初のメッセージを分析した。依頼は35の診療科の6342人から寄せられた。指導医、フェロー、研修医、ナースプラクティショナー、フィジシャン・アシスタント、看護師だ。依頼の半数は看護師と上級実践提供者(advanced practice providers)からのもので、これらはAIの評価にほとんど含まれないグループである。

すべての依頼にラベルをつけるため、研究者たちはRCQ-Mapという20項目の分類表(タスク、意図、不足している情報、潜在的な害、最も安全な応答など)を作り、OpenAIのAIモデルGPT-5.6 solにそれを適用させた。まず100件の依頼について7人の臨床医と照らし合わせて確認した。臨床医たちの共通の答えにモデルが一致した割合は、臨床医一人が一致した割合とほぼ同じで、84.6%対83.0%だった。研究者たちは依頼の本文を一度も見ておらず、見たのはラベルだけだった。

臨床スタッフが実際に尋ねること

• 文書作成と事務作業:36.2%。診療記録、ケアプラン、退院時の指示書、カルテの要約、患者からのメッセージへの返信など。
• 知識の調べもの:28.9%。そのうち薬の情報が14.1%。
• 状況についての臨床推論:14.3%。そのうち診断はわずか3.7%。
• 依頼の4分の1はキーワードの断片にすぎず、半数以上が臨床の略語を使っていた。
• 専門医は自分の領域の外に出ることが多かった。臨床に関する質問の43.9%は、別の診療科が扱う病気についてだった。

そのままでは答えられない質問が多い

依頼の3分の1以上(36.1%)は、書かれたままの形ではうまく答えられなかった。22.2%のケースでは、よい答えを出すのにメッセージに含まれていない情報が必要だった。患者の病歴、病院の採用薬リスト、院内のプロトコルなどだ。依頼のおよそ4分の1では、最も安全な返答は確認のための質問だった。拒否したり、質問を人間に回したりすることが最善の選択肢になることは、ほとんどなかった。

モデルは、誤って答えた場合に高い、あるいは重大な潜在的害をもたらす依頼が13.2%あると判定した。しかしモデルは臨床医よりも慎重だった。臨床医たちの合意に合わせて補正すると、その数字は約**3.7%**に下がる。こうしたリスクの高い依頼は、薬の用量や、予定している処置の判断・確認に集中していた。

別の仕事のために作られたテスト

チームは次に、同じ分類表を公開されている58の医療AIベンチマークに適用した。典型的なベンチマークには文書作成の依頼がまったく含まれておらず、そのタスクの構成と実際の使用との重なりはわずか**31%**だった。これは、すべてのタスクの種類に問題を均等に割り振ったベンチマークが示すはずの重なり(55%)よりも低い。臨床の実務に似せるよう設計されたスイートのベンチマークも、実態に近いわけではなかった。広く使われている試験形式のテストMedQAでは、診断が問題の48%を占め、ほぼすべての問題で、直接答えるのが最善だった。

一つの病院、一つのツール

この研究が対象としているのは一つの医療システムと一つのアシスタントだけだ。アシスタントの回答は調べていないため、測っているのは実際の害ではなく潜在的な害である。依頼がどれほど危険かについて、臨床医どうしの一致はそれほど高くなかった。著者の一人はほかの利益相反とあわせてGoogleのコンサルティングを、別の一人は医療AI企業のコンサルティングを申告している。著者らは分類表とベンチマークの一覧を公開しており、ほかの病院も自分たちの利用状況を分析できる。テストを作る人々への彼らのメッセージはこうだ。臨床スタッフが実際にAIに持ち込む仕事で、AIを評価せよ。