UN MODÈLE DE LANGAGE RÉÉCRIT SES PROPRES POIDS
Un modèle de langage est entraîné une fois, figé, puis déployé. Pour l’améliorer, il faut d’ordinaire un nouvel entraînement — de grandes grappes de calcul, une chaîne d’entraînement et des spécialistes pour s’en servir. Ce qu’un utilisateur peut changer, le prompt, disparaît dès que la tâche change. Jiajun Fan, Ge Liu et leurs collègues de UIUC, CMU, Rutgers, Princeton et Stanford ont posé une autre question : un modèle peut-il réécrire ses propres poids — les milliards de nombres qui le définissent — par le seul raisonnement, sans aucun entraînement ?
Leur réponse, écrit l’équipe, est oui, « à notre connaissance pour la première fois ». Elle appelle cela l’auto-réécriture.
Une session sur ses propres poids
Les expériences utilisent une seule famille de modèles ouverts, Qwen3.5, en quatre tailles : 2, 4, 9 et 27 milliards de paramètres. Chaque modèle a droit à une session sur ses propres poids. Il reçoit ses réponses notées sur des problèmes de maths d’entraînement et un environnement Python dans lequel il peut lire et réécrire ses matrices de poids. Il peut aussi se faire tourner lui-même un nombre limité de fois — 20 passes — pour répondre à des problèmes avec et sans sa modification, avec les mêmes graines aléatoires, ou pour lire ses propres états cachés.
Ce qu’il ne peut pas faire, c’est s’entraîner. L’environnement refuse tout calcul de gradient et tout optimiseur, n’a ni GPU ni accès au réseau, et bloque les modifications qui ne feraient que remettre à l’échelle une matrice entière. Chaque valeur que le modèle change est écrite par son propre raisonnement. Les résultats sont ensuite vérifiés sur des problèmes que les sessions n’ont jamais vus.
Trouver la matrice cassée
Dans un premier test, l’équipe a donné au modèle de 27 milliards de paramètres une copie abîmée de lui-même : huit lignes d’une matrice, dans la couche 30 sur 64, remplacées par du bruit. On lui a seulement dit que des valeurs avaient été corrompues. La copie ne résolvait plus rien.
Sa session ressemble à un débogage. Il a d’abord soupçonné les premières couches — fausse piste, et ses propres tests l’ont dit. Puis il a comparé le plus grand poids de chaque matrice de sortie au poids typique, et trouvé le coupable : « Layer 30’s down_proj has an extreme 1397x outlier » (la matrice de sortie de la couche 30 a une valeur aberrante extrême, 1 397 fois la normale). Sa correction était douce : dans cette matrice et 19 autres, plafonner tout poids au-delà de 15 fois la médiane de sa matrice. Il n’a pas restauré les valeurs d’origine, qu’il n’a jamais vues ; il a plafonné les valeurs aléatoires. Sur 200 problèmes de maths tenus à l’écart, la copie est passée de 0 % à 33 %. Plus frappant, la réparation, trouvée sur du texte seulement, a aussi marché sur des images : sur six tests d’images jamais vus, la copie est montée de 7,3 % à 70,2 %, soit 83 % de la précision du modèle intact.
Apprendre à s’arrêter
Sur ses propres poids, intacts, le modèle 27B est parti d’un diagnostic : la plupart de ses réponses atteignaient la limite de longueur, mais presque toutes celles qui se terminaient étaient justes. Dans ses propres mots : « mon raisonnement est solide, mais je suis trop verbeux ou je n’arrive pas à conclure efficacement ».
Il a donc comparé ses états cachés sur les réponses qui se terminent et sur celles qui s’éternisent, trouvé la direction qui les sépare, et en a retiré une petite part dans une couche. Ses tests ont donné raison à cette modification. Dans un second protocole, le cadre testait aussi chaque modification une fois sur des problèmes réservés avant que le modèle choisisse de la soumettre. Sur les huit premières sessions de ce type, toutes rapportées, le modèle a renoncé cinq fois et soumis trois modifications. Deux l’ont rendu nettement meilleur sur 490 nouveaux problèmes : +6,6 points (de 57,2 % à 63,8 %) et +4,0 points. Le plus gros gain est venu d’un changement étonnamment simple — pousser un même réglage dans chaque couche d’attention linéaire —, après quoi moins de réponses atteignaient la limite. Sur un problème, le modèle d’origine répétait une seule phrase 549 fois sans répondre ; après la modification, il a répondu juste. Chaque session derrière les plus gros gains a tourné quelques heures sur un seul GPU.
Seul le plus grand modèle y arrive
Avec la même tâche et les mêmes outils, la taille a tout changé. Le modèle à 2 milliards de paramètres n’a fait aucune modification : la plupart de son code échouait. Ceux à 4 et 9 milliards ont ajouté du bruit au hasard dans leurs poids et se sont cassés eux-mêmes ; celui à 9 milliards a même soumis une modification qui l’a rendu incapable de répondre aux nouveaux problèmes. Seul le modèle à 27 milliards a mesuré avant d’agir et gardé ce que ses tests soutenaient. Pour les auteurs, c’est la première preuve, au sein d’une famille de modèles, que la capacité à diagnostiquer et réécrire ses propres poids croît avec la taille.
Sur quoi reposent ces affirmations
Les résultats viennent d’une seule famille de modèles et surtout de problèmes de maths. Les gains corrigent surtout des réponses qui ne s’arrêtent pas, et l’une des trois modifications soumises n’a apporté aucun gain significatif. La réparation récupère l’essentiel, pas la totalité, de ce que le dommage avait retiré. Les auteurs entrevoient un avenir où améliorer un modèle passerait par « une conversation plutôt qu’un entraînement », et peut-être une voie vers des modèles qui s’améliorent encore et encore. Cette voie, insiste l’équipe, doit se parcourir avec des humains dans la boucle : chaque modèle qu’un modèle fait de lui-même doit être évalué, pour la sécurité comme pour la tâche, et confirmé par une personne.
