电网的嗡嗡声,指证AI视频的证人
检测AI生成的视频已经变成一场军备竞赛,而据南安普顿索伦特大学的Ryan Wyton和Bacha Rehman称,这是一场“检测方正在输掉”的竞赛。大多数检测器学习的是其训练所用生成器留下的特征痕迹。在最近一个包含六百万段视频的基准测试中,最好的检测器总体准确率也只有80%左右,面对从未见过的生成器时,准确率会跌到接近甚至低于随机猜测。
这两位研究人员转而寻找一种生成器无法控制的信号:电网频率,即ENF(electric network frequency)。
电网的指纹
市电的标称频率是50或60赫兹,但随着供需变化,其精确频率会有微小漂移。由于电网是紧密耦合的,在任一时刻,这种漂移在整个电网中都是相同的,误差在毫秒以内——因此它就像一个时间戳。它通过两种途径进入录制内容。麦克风会把它录成嗡嗡声。而由市电供电的灯会以电网频率的两倍——100或120赫兹——闪烁。传感器逐行读取图像的摄像头(“卷帘快门”)会把这种闪烁记录为视频中淡淡的条纹。
一个没能经受检验的前提
这项工作始于一个简单的想法:合成视频不会有电网闪烁,可以凭借闪烁的缺失把它识别出来。作者写道,这个想法“一碰到证据就站不住了”。在来自六个文生视频生成器的600段视频中,闪烁与真实影像中一样强——其表观频率由生成器的帧率决定,而非任何真实电网。仅凭闪烁强度来衡量,真实视频和生成视频无法区分:得分为0.51,而0.5意味着纯属瞎猜。
于是问题变了。系统不再问视频有没有电网信号,而是问这个信号是否与所声称的时间和地点的独立电网记录相吻合。吻合的痕迹是录像真实的有力证据。缺失则什么也证明不了,因为许多真实录制——户外的、昏暗的或使用专业录音设备的——都不带可用的嗡嗡声。
系统如何工作
- 一个小型神经网络(约157600个参数)同时从声音和画面中读取电网信号。
- 带标注的真实样本很少,所以团队用合成样本训练它:他们模拟了电网频率如何漂移、又如何被拉回标称值,再把这种漂移注入不含嗡嗡声的语音和不含闪烁的视频中,同时加入五类不一致的信号(缺失、平直、断裂、电网错误、拼接)。
- 另一个独立步骤将录制内容的信号与电网参考日志进行比对,要么核验所声称的时间,要么找出未知的时间。
- 一个固定的决策图——即“智能体”(agentic)部分——将上述结果与现有的篡改人脸、唇形同步和元数据检测器结合起来,只有在快速检查无法得出结论时才调用较慢的检测器。
结果
- 在训练中从未见过来源的真实录制上,系统接受了93%的真实音频和100%的真实视频,而一个“有没有嗡嗡声?”的简单测试只有53%和15%。
- 在能够提取到痕迹的录制上,核验所声称的录制时间能够完美区分真假时间戳;盲搜则能在24小时的参考记录中把未知录制时间定位到约一秒以内。
- 在一个真实场景中,视频的闪烁与其电网参考以及同一录制的声音都吻合。该场景的两段AI翻拍以60赫兹闪烁,而所声称的地点电网是50赫兹,频率对不上。
- 在对照其真实电网核验的91段真实录制中,它没有做出任何错误指控。
- 只在必要时运行较慢的检测器,使计算时间减少了54%,而准确率没有下降。
难题
电网信号认证的是录制本身,而不是录制所呈现的内容。如果有人拍下一个真实场景,再往里换上一张脸,嗡嗡声依然是真的。这就要交给人脸和唇形同步检测器,而它们在经过压缩的真实换脸影像上的表现接近随机:整个组合的得分约为50%。该方法还需要电网参考日志,作者称这些日志在英国和欧洲大陆是公开的,但在其他地方受到限制或未公开;而且它无法阻止伪造者拼接一段来自正确时间和地点的真实电网录音。
作者把他们的系统定位为一种分诊工具,是众多证据中的一条。他们写道,它的目标“不是宣布某段视频是假的,而是以经过校准的置信度说明,一段录制何时确实是它所声称的那样”。
