Информатика и ИИПрепринтМоделирование4 мин чтения

КОГДА ИИ КОПИРУЕТ ИИ, КТО-ТО ДОЛЖЕН ПРОДОЛЖАТЬ УЧИТЬСЯ

Обучите генеративную модель на продукции более ранней модели — и она деградирует. От поколения к поколению самое редкое содержание исчезает раньше распространённого, а то, что производит модель, становится всё однообразнее. Этот коллапс модели (model collapse) сейчас хорошо изучен — как и средства от него. Все работающие средства привносят что-то извне цикла: свежие человеческие данные, сохранённые реальные данные, верификаторы, отбор данных людьми.

Нам Ле (Nam Le), специалист по информатике из Университета Вермонта, указывает на то, что эти анализы принимают как должное. Они рассматривают свежие данные как неизменный архив, доступный в любом нужном количестве, и предполагают, что описываемый мир стоит на месте. Ни то ни другое не верно: свежий текст пишут люди, которые всё чаще спрашивают модели вместо того, чтобы выяснять самим; а мир продолжает меняться.

Старый парадокс

Оба вопроса лежат в основе более старой теории. В работе Роджерса 1988 года описано то, что теперь называют парадоксом Роджерса: в популяции, где копирование распространяется, потому что для каждого оно дешевле обучения, в итоге никому не живётся лучше, чем в популяции, которая никогда не копировала. Копии устаревают, и кто-то должен продолжать платить за обучение.

Последующие работы по культурной эволюции уточнили эту идею. Критический ученик копирует, проверяет копию на реальном мире и учится сам, если она не выдерживает проверки; такие ученики повышают выигрыш всех. Конформистский ученик копирует то, что распространено, — это дёшево, но размывает редкие варианты.

Ле утверждает, что обучение модели на продукции другой модели — это социальное обучение именно в этом смысле, а значит, теория должна быть применима. В простейшей форме она даёт правило в одну строку: сколько знаний сохраняет линия моделей (lineage), когда часть её обучающих данных свежая.

Дарвин и «Моби Дик», переписанные снова и снова

Чтобы это проверить, Ле обучает линии небольших языковых моделей на двух книгах из проекта «Гутенберг»: «Происхождении видов» Дарвина и «Моби Дике» Мелвилла. Каждое поколение училось на тексте, порождённом предыдущим, с добавлением некоторой доли свежего текста из книги.

Питаясь только собственной продукцией, модели, работающие на уровне слов, потеряли четыре из пяти редких слов за двенадцать поколений. Образец из исходного поколения ещё читается как «i cannot see that a genus become fitted for most justly celebrated elder huber»; к двенадцатому — «struggle of the on that may inheritable detected i hybrids, kept.»

Самое поразительное — предсказание. Ле подбирает единственный параметр правила — вероятность того, что скопированная единица знания теряется в каждом поколении, — только по полностью самопитающейся линии, а затем без изменений использует его, чтобы предсказать линии с 10%, 30% или 50% свежих данных. Число сохранённых ими редких слов совпало с предсказанием с точностью до 3 процентных пунктов. С добавлением второго класса знаний — хрупких в противовес устойчивым — правило выполнилось также для небольшого трансформера и для предобученной языковой модели OPT-125m.

Когда мир движется

Затем меняться заставили сам «мир»: окно скользило по двум книгам, так что постоянно появлялась новая лексика, а старые слова уходили. Чем быстрее оно двигалось, тем больше свежих данных требовалось самокопирующей линии. Чтобы сохранить 80% того, что покрыл бы полностью свежий корпус, доля свежих данных должна была вырасти примерно с 30% до примерно 45%. Быстро меняющиеся области, как предсказывает статья, первыми начнут деградировать по мере накопления синтетического текста.

Предобученная модель вела себя иначе: её знания сохранялись независимо от того, двигался мир или нет. По толкованию Ле, её предобученные веса, неизменно наследуемые каждым поколением, — это знания, которые никогда не проходят через цепочку копирования. С оговоркой: движущийся текст здесь был текстом, который модель уже видела во время предобучения.

Люди в цикле

Дальше идёт часть, которая дала статье название. Ле строит модель, в которой люди могут либо выяснить факт сами, заплатив за это, либо бесплатно спросить ИИ и оказаться правыми ровно так же часто, как и ИИ. То, что пишут люди, становится обучающими данными для следующей модели вместе с некоторой долей текста, который модель пишет сама.

Равновесие получается суровым:

  • ИИ в итоге оказывается прав ровно настолько часто, чтобы спрашивать его было так же выгодно, как выяснять самому, если учесть стоимость выяснения, — каковы бы ни были его размер и архитектура;
  • людям в целом ничуть не лучше, чем без ИИ: это парадокс Роджерса для людей и машин вместе;
  • чем большую часть обучающего текста модели пишут сами, тем больше людей должны продолжать учиться самостоятельно — вдвое больше, когда половина текста написана моделями. Свежие данные, заключает Ле, оплачиваются человеческим трудом.

Выход есть. Если люди сверяют ответ ИИ с реальным миром и переучиваются, когда он ошибочен, парадокс разрушается: в симуляции средний выигрыш устанавливается на уровне 0,93 против 0,70 без ИИ. Инструменты, которые делают проверку дешёвой, с этой точки зрения — не удобство, а то, что удерживает всю систему от коллапса.

Фильтры, которые всё ухудшают

Та же оптика позволяет рассортировать фильтры, применяемые для очистки синтетических данных. Оставлять образцы, которые модель считает наиболее правдоподобными, — это конформистское копирование, и в экспериментах оно ускорило потерю редких слов: предобученная модель сохранила 5% из них против 57%, когда половина образцов отбиралась случайно. Только фильтры, сверяющие текст с реальным миром, действуют как критические ученики. Всё это показано на небольших моделях, крупнейшая из которых имеет 125 миллионов параметров, и Ле называет проверку в большом масштабе главным открытым вопросом.