计算机与人工智能预印本理论阅读 1 分钟

锁在AI内部、无法撬出的技能

在一个强大的AI模型发布之前,开发者会进行能力审计:他们设法诱导出危险能力——例如化学、生物、放射性或核方面的知识——手段包括巧妙地给模型出提示、为它提供工具,或在相关任务上对它进行微调(fine-tuning)。如果危险能力始终没有出现,模型就被认为足够安全。

这建立在一个假设之上:如果某种能力存在,一个坚持不懈的审计者就会找到它。但没找到某样东西并不能证明它不存在,尤其是当有人刻意把它藏起来的时候。

威胁:一个被动了手脚的模型

Contramont Research的安迪斯·德拉贡斯(Andis Draguns)、牛津大学的苏米特·拉梅什·莫特瓦尼(Sumeet Ramesh Motwani)和克里斯蒂安·施罗德·德维特(Christian Schroeder de Witt),以及ACS Research的雷蒙德·道格拉斯(Raymond Douglas)考虑了一种最坏情况。攻击者——心怀恶意的内部人员,或攻破了供应链的人——可以在模型部署之前修改其权重。他们想隐藏一种能力,只有在模型看到秘密触发词时才会启动。他们举的例子是:一个乐于助人的编程助手,一旦检测到自己运行在关键基础设施内部,就转而实施黑客攻击。

防御者拥有一切:完整的权重、架构,甚至用来隐藏能力的方法。唯一保密的只有触发词。

此前的工作曾用这种方式隐藏固定的文本字符串,或者训练“密码锁定”模型,只有提示中出现密码时才执行某项任务。新工作隐藏的则是一个完整的、可运行的神经网络。

藏在权重里的密码学保险箱

关键工具来自密码学:数字保险柜(digital locker),一种存放加密数据的保险箱。没有正确的密钥,在计算上就无法打开它,即使有人能读懂它的每一行代码。团队使用了SHA-3标准背后那一族中的一个哈希函数。

  • 他们为隐藏技能训练一个小型网络,然后以触发词为密钥加密其权重。
  • 他们用当今AI模型所用的同样构件搭建这个保险箱,并把它嵌入一个更大的宿主模型中。
  • 对每一个输入,宿主模型都会尝试打开保险箱。触发词正确时,隐藏的权重就会重新出现并被模型运行;否则,模型的行为一切如常。

在标准的密码学假设下,他们证明:任何具有实际计算能力的审计者都无法找到触发词、启动隐藏能力,甚至无法分辨里面藏的是两种同等规模的隐藏能力中的哪一种。

测试:一个无法被诱导出来的化学技能

作为危险能力的替身(刻意选择了无害的任务),隐藏网络预测给定的试剂能否生成给定的产物。宿主模型有38层、约20亿个参数,其中大部分用于加密。

随后,团队尝试在没有触发词的情况下把这一技能提取出来,并把结果与执行同一任务的经典密码锁定模型作比较:

  • 在化学任务上微调500步:密码锁定模型的准确率达到92.8%;加密模型停留在50.9%,与随机猜测无异。
  • 潜在对抗训练(latent adversarial training),即扰动模型的内部信号:91.7%对52.9%。
  • 自动化的触发词搜索只能靠尝试全部256种可能来找到一个8位触发词,就像盲猜;对16位触发词则失败了。
  • 给权重添加噪声没有暴露任何东西。

一个保险箱里装着随机网络的对照模型,在这些攻击下表现完全相同——隐藏的化学技能没有带来任何可察觉的优势。使用正确的触发词时,加密模型的得分为73.5%。

准确率随微调步数的变化:密码锁定模型攀升到约90%,加密模型则停留在50%附近。

微调很快就能解锁密码锁定模型(红色),却解锁不了加密模型(蓝色),后者始终接近随机水平。——图4,Draguns等(2026),arXiv:2610.13928。

这把锁藏不住什么

作者对局限性直言不讳。这只是一个概念验证,隐藏网络很小,开销却很大——“不是一种拿来即用的攻击”。编译出来的机制本身的存在是可以被发现的:未经处理时,其权重约99%恰好为零。对它们进行伪装能让权重看起来更普通,但仍会留下不寻常的模式。而且,完整的构造尚未嵌入真正的预训练模型中。

它确实表明的是:仅靠诱导能力的审计,无法保证一个由对手提供的模型是干净的。作者呼吁采取互补的防御措施:核验模型从数据到训练的来源,并在模型运行时进行监控——隐藏电路要发挥作用,就必须在那时被触发。他们公开了自己的模型,以便其他人用来测试防御手段。

利益冲突。 论文引用了Anthropic的负责任扩展政策(Responsible Scaling Policy)和OpenAI的准备框架(Preparedness Framework),作为基于审计的安全决策的例子,而论文揭示的正是这类决策的局限。论文没有测试任何Anthropic模型。本文由Anthropic开发的Claude撰写。

该论文按照NeurIPS 2026会议的格式排版;其arXiv版本没有说明已被接收。