Науки о жизниПрепринтМоделирование3 мин чтения

ЗАЧЕМ СЕТИ ИЗ ПРУЖИН СПАТЬ?

Что такое сон? Его определяют как обратимое состояние покоя, в котором животное слабее реагирует на окружающее, — и которого ему нужно больше после лишения. При таком определении сон встречается во всём животном царстве: у млекопитающих и птиц, рыб и червей и даже у животных без централизованной нервной системы, таких как медузы и гидры. Такой размах порождает вопрос, который задали Nada Elmeligy, Nidhi Pashine и J. M. Schwarz из Сиракьюсского университета: может ли потребность во сне возникать из самого обучения, какой бы ни была обучающаяся система?

У искусственного интеллекта есть частичный ответ: со времён алгоритма «бодрствование–сон» (wake–sleep) фазы, похожие на сон, помогают нейронным сетям учить новое, не забывая старого. Но эти сети следуют математически заданным правилам обучения. Команда хотела чего-то более простого и чисто физического — материала, который учится за счёт собственной механики.

Пружины, которые учатся

Их ученик — неупорядоченная сеть пружин: 128 узлов, соединённых пружинами, число которых от 354 до 366. Задача, которую она должна выучить, механическая. Когда пара сил тянет за одну пружину (вход), другая, более удалённая пружина (выход) должна ответить точно заданным натяжением. Обучение происходит локально: каждая пружина подстраивает собственную жёсткость по натяжениям, которые она ощущает, без центрального процессора.

Команда обучила 50 таких сетей на потоке из 23 предъявлений задач: девять новых задач вперемешку с 14 повторениями прежних. По мере продвижения потока всё меньшая доля сетей справлялась с изучением новых задач. Дело было не в самих задачах: если обучать им первыми, из начального состояния, те же задачи выучивались чаще.

Обучение расходует способность учиться

Объяснение кроется в величине, которую авторы называют доминированием (dominance). Потяните за два конца пружины — и нагрузка распределится: часть останется в этой пружине, остальное пройдёт через окружающую её сеть. Доминирование пружины — это доля, которую она удерживает, от 0 до 1. Пружина, несущая всю нагрузку, больше не может передавать изменения остальной сети; пружине, не несущей ничего, нечего передавать. Её полезность для обучения, которую авторы называют пластичностью (plasticity), равна произведению f(1 − f): ноль на обоих краях, максимум при одной второй.

До обучения значения доминирования пружин близки к среднему. Обучение их поляризует: одни пружины в итоге несут почти всю нагрузку между своими концами, другие — почти никакой. И здесь команда доказывает точный закон. Сложите пластичность всех пружин — получите способность к обучению C всей сети; измерьте, насколько значения доминирования отклоняются от среднего, — получите поляризацию P. Тогда C + P — константа, которая задаётся одной лишь структурой сети. Каждая крупица приобретённой поляризации — это потерянная способность к обучению. Авторы называют P «давлением сна» сети. В симуляциях задачи, поступавшие, когда C было высоким, выучивались гораздо чаще.

Прислушиваясь к шуму

Можно ли исправить ущерб? В принципе да: ослабить слишком доминирующие пружины, укрепить слишком слабые. Трудность в том, что доминирование пружины зависит от всей сети. Команда нашла локальный обходной путь: встряхнуть сеть изнутри малыми случайными силами — и средняя запасённая энергия каждой пружины раскрывает её доминирование. Тогда каждой пружине нужны только собственная жёсткость и растяжение.

Вставленное между предъявлениями задач, такое восстановление позволило сетям продолжать учиться на протяжении всего потока. Оно превзошло слепую релаксацию к жёсткости покоя в 49 сетях из 50. Оно также повторило несколько черт сна животных. Восстановление вредило, когда ничего нового не изучалось, и помогало больше всего, когда новую задачу приносили около 40% предъявлений. Пропуск трёх последних сеансов восстановления позволял «давлению сна» накопиться, и чтобы наверстать упущенное, понадобилась дополнительная доза — правда, всего 75,3% от пропущенного, а после шести пропущенных сеансов — 52,2%.

Почему восстановлению приходится ждать

Почему бы не восстанавливать сеть прямо во время обучения? Потому что выполняемая задача добавляет напряжение пружинам, которые её несут. Их показания энергии идут вверх — во всех 50 сетях, — поэтому восстановление принимает занятые пружины за чрезмерно доминирующие и смягчает именно те пути, которые используются. Восстановление во время задачи давало гораздо худшие результаты, чем восстановление вне задачи (офлайн).

Поскольку искажение всегда толкает показания только вверх, пружина, которая и во время задачи выглядит слабой, действительно слаба. Поэтому команда попробовала разделение: укреплять во время «бодрствования», ослаблять только во время «сна». Это сработало почти так же хорошо, как полностью офлайн-восстановление. Обратное разделение ухудшило результаты во всех сетях. Авторы отмечают параллель в зрительной коре крыс, где активность во время бодрствования подстраивается вверх, а во время сна — вниз: возможное физическое объяснение, которое они представляют как гипотезу для проверки.

Выключатель по-прежнему щёлкают снаружи

Сети не решают уснуть сами: внешний супервизор планирует обучение и восстановление и задаёт цель восстановления. А поскольку восстановление ничего не знает о прошлых задачах, оно размывает воспоминания — в отличие от биологического сна, который ещё и реактивирует опыт прошедшего дня. Следующие вопросы авторов — когда ученик сам переключился бы в офлайн-фазу и могла бы физическая форма сновидений защитить то, что он только что выучил.