ГУЛ ЭЛЕКТРОСЕТИ — СВИДЕТЕЛЬ ПРОТИВ ВИДЕО ОТ ИИ

Обнаружение видео, созданных ИИ, превратилось в гонку вооружений, и, по словам Райана Уайтона (Ryan Wyton) и Бачи Рехмана (Bacha Rehman) из Солент-университета Саутгемптона, это гонка, которую «детектор проигрывает». Большинство детекторов учатся распознавать характерные отпечатки тех генераторов, на которых их обучали. На недавнем эталонном наборе из шести миллионов клипов лучшие из них достигают лишь около 80% точности в целом и опускаются до уровня случайного угадывания или ниже на генераторах, которых никогда не видели.

Вместо этого два исследователя искали сигнал, который генераторы не контролируют: частоту электрической сети, или ENF (electric network frequency).

Отпечаток сети

Номинальная частота сети — 50 или 60 герц, но точное её значение немного дрейфует по мере изменения предложения и спроса. Поскольку энергосеть тесно связана, этот дрейф в каждый момент одинаков во всей сети с точностью до миллисекунд — и потому работает как метка времени. В записи он попадает двумя путями. Микрофоны улавливают его как гул. А лампы, питающиеся от сети, мерцают с удвоенной частотой сети — 100 или 120 герц. Камера, сенсор которой считывает изображение строка за строкой («скользящий затвор», rolling shutter), записывает это мерцание как слабые полосы на видео.

Предпосылка, которая не выдержала проверки

Работа началась с простой идеи: в синтетическом видео не будет сетевого мерцания, и его можно будет выявить по отсутствию. Идея «не пережила столкновения с фактами», пишут авторы. В 600 клипах от шести генераторов, создающих видео по тексту, мерцание проявлялось так же сильно, как в настоящих съёмках, — с кажущейся частотой, задаваемой частотой кадров генератора, а не какой-либо реальной сетью. Если судить только по силе мерцания, настоящие и сгенерированные клипы различить не удавалось: оценка 0,51, где 0,5 означает чистое угадывание.

Поэтому вопрос изменился. Вместо того чтобы спрашивать, есть ли в видео сетевой сигнал, система спрашивает, совпадает ли этот сигнал с независимой записью сети в заявленное время и в заявленном месте. Совпадающий след — веское доказательство подлинности записи. Отсутствие следа ничего не доказывает, поскольку многие настоящие записи — на улице, при слабом освещении или сделанные профессиональной звуковой аппаратурой — не несут пригодного гула.

Как работает система

Одна небольшая нейросеть (около 157 600 параметров) считывает сетевой сигнал и в звуке, и в видео.
Настоящих размеченных примеров мало, поэтому команда обучила её на синтетических: смоделировала, как частота сети блуждает и возвращается к номинальному значению, а затем внедрила этот дрейф в речь без гула и видео без мерцания вместе с пятью видами несогласованного сигнала (отсутствующий, плоский, прерывистый, чужая сеть, склеенный).
Отдельный шаг сопоставляет сигнал записи с эталонным журналом сети — чтобы проверить заявленное время или найти неизвестное.
Фиксированный граф решений — «агентная» часть — объединяет это с существующими детекторами подделанных лиц, синхронизации губ и метаданных, вызывая медленные только тогда, когда быстрые проверки не дают ясного ответа.

Результаты

На настоящих записях из источников, не встречавшихся при обучении, система приняла 93% подлинного аудио и 100% подлинных видео — против 53% и 15% у наивной проверки «есть ли гул?».
Проверка заявленного времени записи идеально отделила подлинные метки времени от ложных на тех записях, из которых удалось извлечь след; слепой поиск нашёл неизвестное время записи с точностью около одной секунды в 24-часовом эталоне.
В реальной сцене мерцание видео совпало с эталоном сети и со звуком той же записи. Две созданные ИИ копии этой сцены мерцали с частотой 60 герц — не та сеть для места, где, как утверждается, работают на 50.
Среди 91 подлинной записи, проверенной по её настоящей сети, система не выдвинула ни одного ложного обвинения.
Запуск медленных детекторов только при необходимости сократил время вычислений на 54% без потери точности.

Трудный случай

Сетевой сигнал удостоверяет запись, а не то, что на ней показано. Если кто-то снимет реальную сцену, а затем подменит в ней лицо, гул останется подлинным. Это задача детекторов лиц и синхронизации губ, которые на сжатых записях реальных подмен лиц работали на уровне случайного угадывания: полный ансамбль набрал около 50%. Методу также нужны эталонные журналы сети, которые, по словам авторов, общедоступны для Великобритании и континентальной Европы, но в других местах закрыты или не публикуются. И он не может остановить фальсификатора, который вклеит подлинную сетевую запись нужного времени и места.

Авторы представляют свою систему как инструмент первичной сортировки — одну линию доказательств среди прочих. Её цель, пишут они, «не объявить клип фальшивкой, а с выверенной уверенностью сказать, когда запись является тем, за что себя выдаёт».