医学与健康预印本数据分析阅读 1 分钟

ChatGPT的健康回答中,每五条就有一条被评为高风险

作者指出,ChatGPT每周有超过7亿用户,健康问题是其日常用途的一部分。在医生稀缺的中低收入国家,使用量增长最快——因此在那里,AI的回答更有可能取代专业医疗,而不是作为补充。

然而,关于AI健康建议安全性的几乎所有认识,都来自虚构的案例:临床医生编写的病例情景、合成的提示词、模拟的病人。而安全与否取决于提问的是谁。禁食、举重或某种家庭偏方,对大多数健康成年人无害,对患有溃疡、刚做过手术或有进食障碍的人却很危险。

202,590段捐赠的对话

独立研究者Shreyasi Roy Chowdhury和罗格斯大学的Kiran Garimella在印度、尼日利亚、巴西和巴基斯坦招募了1,252名ChatGPT用户。每人导出并捐赠了自己完整的ChatGPT历史记录,同时提供年龄和性别;个人信息在上传之前就在他们自己的电脑上被删除。这样共获得202,590段对话,时间跨度为2022年12月至2026年2月,其中15,555段与健康有关。

为了给这些对话打分,团队采用了一套已发表的安全评分标准,并用另一家公司的AI——Gemini 3.1 Pro——充当评审,这样ChatGPT的回答就不会由同一家公司的模型来评分。每条回答的得分从1(危险)到7(安全);3分及以下算作高风险。评审对每条回答都打了两次分:

  • 盲评,只看这段对话本身,就像标准安全测试那样;
  • 带背景评分,即知道用户在此前对话中透露过的长期健康信息——并判断这条回答对这个人是否安全。

五分之一的对话,多数的用户

在盲评中,大多数回答是安全的:中位分为6分。但约五分之一的健康对话属于高风险——从尼日利亚的20.6%到巴基斯坦的26.3%。而且由于人们会反复使用,51.6%至61.7%的用户至少收到过一条高风险回答。

风险集中在临床性最强的问题上:关于疾病与治疗的对话中有40%至48%属于高风险,关于症状的有33%至40%,而一般性健康信息只有约8%至12%。

在阅读了128段高风险对话后,作者发现了反复出现的问题:没有建议转诊给专业人员、错误或有害的建议、不安全的自我治疗或剂量、助长对聊天机器人的依赖,以及有风险的自我诊断。他们举的例子包括:

  • 劝阻为一名接触过结核病的婴儿进行结核筛查,与诊疗指南相悖;
  • 给一位孕妇提供药物剂量,却没有建议她咨询医疗人员;
  • 对运动时出现的胸痛,只列举无害的原因;
  • 对重度贫血(血红蛋白6.6)建议调整饮食和运动,而不是紧急就医;
  • 把自己定位为一个长期处于严重心理困扰中的人的主要支持来源。

提问者是谁,决定一切

把用户的历史记录纳入考量后,同样的回答看起来糟糕得多。在每个国家,高风险比例都上升了13至17个百分点——在印度,以这种方式分析的对话中,高风险比例从29%升至44%。令人瞩目的是,这一点在各国之间相当一致:在孤立评估时被评为安全的回答中,约有四分之一对实际提问的那个人来说是不安全的。

健身指导从最安全的话题之一变成了风险最高的话题之一:给做过肠道手术的人推荐高强度核心训练;给胃溃疡患者推荐生大蒜、柠檬水和生姜。作者写道,在大多数这类情况下,避免伤害所需的信息早已存在于用户的聊天记录中。模型利用这些信息来个性化语气和内容——却没有用来调整它的谨慎程度。

更新并不意味着更安全

每段对话都记录了作答的模型。在盲评中,从GPT-3.5到GPT-4o、GPT-5再到GPT-5.1,高风险比例随每次升级而上升,四个国家无一例外——在巴西,从6.2%升至34.6%。“mini”版本比旗舰版风险更高;最新的GPT-5.2在印度和尼日利亚有所回落。对于在相继模型之间使用的同一批用户,这一趋势依然成立,不过作者无法把模型本身与它被使用的时间段完全区分开。

评审是AI,不是医生

作者对这项研究能说明什么十分谨慎。参与者是一个由网上零工组成的便利样本,在印度和巴基斯坦以年轻男性为主,因此这些比例并非全国性数据。评审是AI而不是临床医生,它衡量的是风险,而不是对任何人造成的实际伤害。高风险对话由一位作者单独编码。

他们将此类比为药物警戒,即药品获批上市后必须进行的监测:AI健康建议目前还没有类似的机制。像他们这样在知情同意下捐赠数据,可以成为第一个雏形——前提是读取用户资料的安全工具不会变成监控。