医生找AI要的是文书，不是诊断

如今，医院为员工提供基于大语言模型的安全AI助手。这些助手是否已经准备就绪，主要依据基准测试分数来判断——即考试式的题目或精心挑选的病例，而模型在这些测试上的得分如今已接近满分。论文指出，在截至2024年初发表的519项医疗领域语言模型评估中，只有5%使用了真实的患者诊疗数据。

一个基准测试只有在其题目与临床人员实际提出的问题相似时，才能反映真实使用情况。Krithik Vishwanath、Tim Requarth、Eric Oermann及其同事（大多来自纽约大学朗格尼医学中心和纽约大学）着手测量这一点。

127833条真实请求

团队分析了临床人员与一家大型多院区学术医疗系统的安全AI助手之间127833次对话的第一条消息，时间跨度为2025年8月至2026年4月。这些消息来自35个专科的6342人：主治医师、专科培训医师、住院医师、执业护士、医师助理和护士。一半的请求来自护士和高级执业医疗人员，而这些群体很少被纳入AI评估。

为了给每条请求打标签，研究人员构建了一个包含20个字段的表格，称为RCQ-Map（任务、意图、缺失信息、潜在危害、最安全的回应……），并让一个AI模型——OpenAI的GPT-5.6 sol——来应用它。他们先用7名临床人员对100条请求的标注进行检验：模型与临床人员共同答案的一致率，和一名临床人员的一致率大致相当，分别为84.6%和83.0%。研究人员从未看到请求的原文，只看到标签。

临床人员实际在问什么

• 文书与行政：36.2%——病历记录、护理计划、出院指导、病历摘要、回复患者消息。
• 查询知识：28.9%，其中包括药物信息（14.1%）。
• 针对具体情况的临床推理：14.3%，其中诊断仅占3.7%。
• 四分之一的请求只是关键词片段，超过一半使用了临床缩写。
• 专科医生常常越出自己的领域：他们的临床问题中有43.9%涉及由其他科室管理的病症。

许多问题无法按原样回答

超过三分之一的请求（36.1%）按原样无法得到好的回答。在22.2%的情况下，一个好的回答需要消息中并未包含的信息——患者病史、医院的药品目录或诊疗规范。在大约四分之一的请求中，最安全的回复是提出一个澄清性问题；而拒绝回答或把问题转交给人工，几乎从来不是最佳选择。

模型判断13.2%的请求一旦答错会带来高度或严重的潜在危害，但它比临床人员更谨慎：按临床人员的共识重新校准后，这一比例降至约3.7%。这些高风险请求集中在药物剂量，以及对拟采取措施的决策或核查上。

为另一份工作打造的测试

团队随后把同一张表格应用到58个公开的医学AI基准测试上。典型的基准测试完全不含文书请求，其任务构成与实际使用的重合度只有31%——还不如一个把题目平均分配给所有任务类型的基准测试（55%）。那些专门为贴近临床实践而设计的测试套件中的基准测试，也并没有更接近。在广泛使用的考试式测试MedQA中，诊断占了48%的题目，而且几乎每道题的最佳回应都是直接作答。

一家医院，一个工具

这项研究只涵盖一个医疗系统和一款助手；它没有考察助手的回答，因此衡量的是潜在危害，而非实际危害。临床人员之间对请求风险程度的判断一致性也只是一般。一位作者声明，其利益关系之一是为谷歌提供咨询；另一位作者则为一家医疗AI公司提供咨询。作者公开了他们的表格和基准测试图谱，以便其他医院分析自己的使用情况。他们给测试设计者的建议是：用临床人员真正交给AI的工作来评估AI。