ЯЗЫКОВАЯ МОДЕЛЬ ПЕРЕПИСЫВАЕТ СОБСТВЕННЫЕ ВЕСА
Языковую модель обучают один раз, замораживают и развёртывают. Чтобы её улучшить, обычно нужен ещё один цикл обучения — большие вычислительные кластеры, конвейер обучения и люди, умеющие со всем этим работать. То, что может изменить пользователь, — промпт — теряет силу, как только меняется задача. Jiajun Fan, Ge Liu и коллеги из UIUC, CMU, Ратгерского, Принстонского и Стэнфордского университетов задали другой вопрос: может ли модель переписать собственные веса — миллиарды чисел, которые её определяют, — одним лишь рассуждением, вообще без обучения?
Их ответ, пишут авторы, — да, «насколько нам известно, впервые». Они называют это самопереписыванием (self-rewriting).
Сессия над собственными весами
В экспериментах используется одно семейство открытых моделей, Qwen3.5, в четырёх размерах: 2, 4, 9 и 27 миллиардов параметров. Каждая модель получает сессию работы над собственными весами. Ей выдаются её оценённые ответы на тренировочные математические задачи и среда Python, в которой она может читать и перезаписывать свои весовые матрицы. Она также может ограниченное число раз запускать саму себя — 20 прямых проходов, — чтобы решать задачи с правкой и без неё при тех же случайных сидах (random seeds) или чтобы читать собственные скрытые состояния.
Чего она не может — так это обучаться. Среда отклоняет любое вычисление градиентов и любой оптимизатор, не имеет ни GPU, ни доступа к сети и блокирует правки, которые просто масштабировали бы целую матрицу. Каждое значение, которое меняет модель, записано её собственным рассуждением. Затем результаты проверяются на задачах, которых сессии никогда не видели.
Как найти сломанную матрицу
В первом тесте команда дала модели с 27 миллиардами параметров повреждённую копию самой себя: восемь строк одной матрицы в слое 30 из 64 были перезаписаны шумом. Модели сообщили лишь, что часть значений испорчена. Копия не решала ничего.
Её сессия читается как отладка. Сначала она заподозрила ранние слои — ошибочно, и её собственные тесты это показали. Затем она сравнила наибольший вес в каждой выходной матрице с типичным и нашла виновника: «У down_proj слоя 30 экстремальный выброс 1397x». Исправление было мягким: в этой матрице и 19 других она урезала все веса, превышающие 15-кратную медиану своей матрицы. Она не восстановила исходные значения, которых никогда не видела; она урезала случайные. На 200 отложенных математических задачах копия поднялась с 0% до 33%. Ещё поразительнее, что ремонт, найденный только на тексте, сработал и на изображениях: на шести бенчмарках с изображениями, которых она никогда не видела, копия выросла с 7,3% до 70,2%, что составляет 83% точности неповреждённой модели.
Как научиться останавливаться
На собственных, неповреждённых весах модель 27B начала с диагноза: большинство её ответов исчерпывали лимит токенов, но почти все завершённые были верными. Её собственными словами: «моё рассуждение здравое, но я пишу слишком многословно или не прихожу к выводам эффективно».
Тогда она сравнила свои скрытые состояния на завершающихся ответах и на ответах, которые тянутся без конца, нашла разделяющее их направление и убрала небольшую его долю из одного слоя. Её тесты говорили в пользу правки. Во втором протоколе система также один раз проверяла каждую правку на зарезервированных задачах, прежде чем модель решала её отправить. Из первых восьми таких сессий — в статье описаны все — модель отозвала правку в пяти и отправила три. Две из них значимо улучшили её результат на 490 новых задачах: +6,6 пункта (с 57,2% до 63,8%) и +4,0 пункта. Наибольший выигрыш дала на удивление простая правка — небольшой сдвиг одной настройки в каждом слое линейного внимания, — после которой меньше ответов исчерпывали лимит токенов. На одной задаче исходная модель 549 раз повторила одно и то же предложение, так и не ответив; после правки она ответила правильно. Каждая сессия, стоящая за наибольшими выигрышами, заняла несколько часов на одном GPU.
Справляется только самая большая модель
При той же задаче и тех же инструментах всё решил размер. Модель с 2 миллиардами параметров не сделала ни одной правки: большая часть её кода не срабатывала. Модели на 4 и 9 миллиардов добавили в свои веса случайный шум и сломали себя; модель на 9 миллиардов даже отправила правку, после которой не могла отвечать на новые задачи. Только модель на 27 миллиардов проводила измерения, прежде чем действовать, и сохраняла то, что подтверждали её тесты. Для авторов это первое свидетельство — в пределах одного семейства моделей, — что способность диагностировать и переписывать собственные веса растёт с размером.
На чём держатся выводы
Результаты получены на одном семействе моделей и в основном на математических задачах. Выигрыши в основном исправляют ответы, которые никогда не заканчиваются, а одна из трёх отправленных правок не дала значимого выигрыша. Ремонт восстанавливает большую часть, но не всё, что отняло повреждение. Авторы видят будущее, в котором улучшение модели потребует «разговора, а не цикла обучения», и, возможно, путь к моделям, которые улучшают себя снова и снова. Этот путь, настаивают они, следует проходить с людьми в контуре: каждая версия себя, созданная моделью, должна оцениваться — как на безопасность, так и на решение задачи — и подтверждаться человеком.
