Informatique & IA · l'expérience
Laisse le modèle se réécrire
Un modèle de langage avec ses propres poids à portée de main, une copie abîmée à réparer, et quatre tailles de la même famille. Quatre questions, du débutant à l'expert, sur ce qu'a réussi l'auto-réécriture.
1 · Sache ce qui était interdit
Débutant
Qu'est-ce que le modèle n'avait pas le droit de faire pendant ses sessions ?
2 · Compte les bonnes réponses en plus
Sur 490 problèmes jamais vus, avec huit réponses chacun, le modèle de base a juste 57,2 % du temps ; après sa meilleure modification, 63,8 % du temps.
Intermédiaire
Combien de ces réponses de plus sont justes après la modification ?
3 · Lis les poids réparés
Dans les lignes abîmées, le plus grand poids valait 0,071 dans le modèle d'origine et 10,1 après le dommage. Après la réparation faite par le modèle lui-même, il vaut 0,108.
Expert
Que montrent ces trois nombres sur la réparation ?
4 · Compare les petits modèles
Les modèles à 4 et 9 milliards de paramètres avaient la même tâche, les mêmes outils et les mêmes limites que le modèle à 27 milliards.
Expert
Qu'ont-ils fait de différent ?
Réécriture passée au crible
—