ТРИ ЯЗЫКА — ОДНА КАРТА СМЫСЛА В МОЗГЕ

Китайский читатель, английский слушатель и французский могут следить за одной и той же историей, хотя в их языках почти нет общих слов, а предложения строятся по-разному. Где-то мозг должен хранить то, что история означает. И Го, Шуцян Ван и их коллеги из Шэньчжэньских институтов передовых технологий Китайской академии наук и двух университетов Гонконга искали эту общую основу в сканах мозга.

Не та же активность, а те же расстояния

Их ключевая идея — сравнивать геометрию, а не активность. Два человека или два языка могут давать разные паттерны мозговой активности на одно и то же предложение. Но всё равно можно спросить: какие фрагменты мозг считает близкими друг к другу, а какие — далёкими? Если эти отношения сохраняются между языками, значит, у мозга есть общая карта смысла, даже когда детали различаются.

227 мозгов, три языка

Команда заново проанализировала четыре открытых набора записей функциональной МРТ — всего 227 участников:

взрослые, слушавшие «Маленького принца» на английском (49), китайском (35) или французском (28), — три отдельные группы людей;
шесть китайско-английских билингвов, читавших истории на обоих языках;
двенадцать человек, слушавших новости на путунхуа, — эти данные использовали для предобучения системы;
97 носителей французского, слушавших отрывки из «Алисы в Стране чудес», — для независимой проверки; 79 из них слышали те же отрывки и на английском.

Авторы построили SemDecoder — декодер мозговой активности. Многоязычная языковая модель предлагает возможные следующие слова, а сигналы мозга решают, какие оставить. Он восстановил осмысленное содержание на всех трёх языках и превзошёл прежний эталонный декодер по всем показателям и на всех наборах данных. Пример из статьи: фраза «For me, it was like a spring of fresh water in the desert» («Для меня это было как родник свежей воды в пустыне») вернулась из мозга как «Anymore, it was just like a rain of pure water in the desert» («Больше нет, это было прямо как дождь чистой воды в пустыне»). По-французски предложение о картинке в «книге о девственном лесе» вернулось как «книга о чёрном лесе». Важнее всего на всех трёх языках оказались области в височных долях обоих полушарий.

Общая карта

Затем авторы сравнили геометрию. Чтобы сопоставить два мозга, их сначала нужно привести к общей системе отсчёта: это и есть выравнивание — вычисленный поворот, который ищет наиболее точное соответствие между картинами активности двух групп, не предполагая, что загораются одни и те же точки мозга. После выравнивания расположение событий истории на китайском, английском и французском в значительной мере совпало. Затем авторы оценили каждый отрывок по трём свойствам смысла — насколько он конкретен, а не абстрактен, насколько он о людях и отношениях между ними и насколько эмоционально возбуждает — и искали на карте мозга направление, вдоль которого каждая из оценок растёт: все три направления указывали в одну и ту же сторону на всех трёх языках. Фрагменты, далёкие друг от друга на одном языке, как правило, были далеки и на другом. Совпадение сохранялось для отдельных слушателей и на протяжении всей истории.

Оно было неодинаковым по мозгу. Межъязыковое совпадение было слабее всего в зонах, близких к органам чувств и движению, и сильнее всего — в высших ассоциативных областях, то есть тех, которые получают сигналы не напрямую от ушей или глаз, а объединяют их. Нижний край этого градиента совсем не удивителен: китайская фраза и французская не имеют ни одного общего звука, и слуховые зоны слышат эту разницу прежде любого смысла, так что согласие может появиться только дальше. Этот градиент тесно следовал главной известной оси организации мозга, идущей от сенсорных и моторных зон к наиболее интегративным областям (корреляция 0,80 по 400 областям мозга). Авторы предполагают, что эти высшие области хранят отношения между смыслами, которые меньше зависят от формы конкретного языка.

Читать язык, которого не учил

Практической проверкой стало обобщение. Декодер, обученный на одном языке, работал выше случайного уровня на другом, которого никогда не видел, во всех шести направлениях между тремя языками, а также у билингвов. Декодер, обученный на китайских слушателях, лучше необученной сети определял, какой из двенадцати фрагментов слушали носители французского — по-французски или по-английски. Чем сильнее он опирался на высшие области, тем лучше обобщал.

Наконец, когда на целевом языке было доступно лишь небольшое количество данных о мозге, предобучение на других языках улучшало декодирование при каждом проверенном объёме данных. Авторы указывают на вопрос справедливости: записи мозговой активности доступны не для всех языков в равной мере, и заимствование у хорошо изученных языков могло бы помочь остальным, — хотя напрямую они это не проверяли. Их исследование охватывает три языка; распространяется ли общая карта на всё многообразие человеческих языков и как она меняется с собственным опытом человека во владении несколькими языками, остаётся открытым вопросом.