MỘT MÔ HÌNH NGÔN NGỮ TỰ VIẾT LẠI TRỌNG SỐ CỦA CHÍNH MÌNH
Một mô hình ngôn ngữ được huấn luyện một lần, đóng băng rồi triển khai. Để làm nó tốt hơn, thông thường cần thêm một lần huấn luyện nữa — các cụm máy tính lớn, một quy trình huấn luyện và những người biết cách sử dụng chúng. Thứ mà người dùng có thể thay đổi, tức câu lệnh (prompt), biến mất ngay khi nhiệm vụ thay đổi. Jiajun Fan, Ge Liu và các đồng nghiệp tại UIUC, CMU, Rutgers, Princeton và Stanford đặt ra một câu hỏi khác: liệu một mô hình có thể tự viết lại trọng số của chính mình — hàng tỷ con số định nghĩa nó — chỉ bằng suy luận, hoàn toàn không cần huấn luyện?
Câu trả lời của họ, theo những gì họ viết, là có, “theo hiểu biết của chúng tôi là lần đầu tiên”. Họ gọi đó là tự viết lại (self-rewriting).
Một phiên làm việc trên chính trọng số của mình
Các thí nghiệm sử dụng một họ mô hình mở, Qwen3.5, ở bốn kích thước: 2, 4, 9 và 27 tỷ tham số. Mỗi mô hình được trao một phiên làm việc trên chính trọng số của nó. Mô hình nhận các câu trả lời đã được chấm điểm của mình cho các bài toán luyện tập và một môi trường Python trong đó nó có thể đọc và ghi đè các ma trận trọng số của mình. Nó cũng có thể tự chạy chính mình một số lần giới hạn — 20 lượt truyền xuôi (forward passes) — để trả lời các bài toán khi có và khi không có chỉnh sửa, dùng cùng các hạt giống ngẫu nhiên (random seeds), hoặc để đọc các trạng thái ẩn của chính mình.
Điều nó không thể làm là huấn luyện. Môi trường từ chối mọi phép tính gradient và mọi bộ tối ưu hóa (optimizer), không có GPU và không có truy cập mạng, và chặn các chỉnh sửa chỉ đơn thuần co giãn cả một ma trận. Mọi giá trị mà mô hình thay đổi đều được viết ra bởi chính suy luận của nó. Kết quả sau đó được kiểm tra trên những bài toán mà các phiên làm việc chưa bao giờ thấy.
Tìm ra ma trận bị hỏng
Trong thử nghiệm đầu tiên, nhóm đưa cho mô hình 27 tỷ tham số một bản sao bị hỏng của chính nó: tám hàng của một ma trận, ở lớp 30 trên 64, bị ghi đè bằng nhiễu. Mô hình chỉ được cho biết rằng một số giá trị đã bị làm hỏng. Bản sao không giải được bài nào.
Phiên làm việc của nó đọc như một buổi gỡ lỗi. Ban đầu nó nghi ngờ các lớp đầu — sai, và chính các phép thử của nó cho thấy như vậy. Sau đó nó so sánh trọng số lớn nhất trong mỗi ma trận đầu ra với trọng số điển hình, và tìm ra thủ phạm: “down_proj của lớp 30 có một giá trị ngoại lai cực đoan 1397x”. Cách sửa của nó rất nhẹ nhàng: trong ma trận đó và 19 ma trận khác, chặn trần mọi trọng số vượt quá 15 lần trung vị của ma trận chứa nó. Nó không khôi phục các giá trị gốc, những giá trị mà nó chưa bao giờ thấy; nó chặn trần các giá trị ngẫu nhiên. Trên 200 bài toán dành riêng (held-out) chưa từng thấy, bản sao đi từ 0% lên 33%. Ấn tượng hơn, bản sửa chữa, được tìm ra chỉ dựa trên văn bản, cũng có tác dụng với hình ảnh: trên sáu bộ đánh giá chuẩn (benchmark) về hình ảnh mà nó chưa từng thấy, bản sao tăng từ 7,3% lên 70,2%, tức là 83% độ chính xác của mô hình không bị hỏng.
Tự dạy mình biết dừng
Trên chính các trọng số không bị hỏng của mình, mô hình 27B bắt đầu từ một chẩn đoán: phần lớn câu trả lời của nó hết token, nhưng gần như tất cả những câu trả lời đi đến kết thúc đều đúng. Theo lời của chính nó: “suy luận của tôi đúng đắn nhưng tôi quá dài dòng hoặc không đi đến kết luận một cách hiệu quả.”
Vì vậy nó so sánh các trạng thái ẩn của mình trên những câu trả lời kết thúc được và những câu trả lời kéo dài mãi, tìm ra hướng phân tách chúng, và loại bỏ một phần nhỏ của hướng đó khỏi một lớp. Các phép thử của nó ủng hộ chỉnh sửa này. Trong một giao thức thứ hai, hệ thống còn kiểm tra mỗi chỉnh sửa một lần trên các bài toán dành riêng trước khi mô hình chọn nộp nó. Trong tám phiên đầu tiên như vậy, tất cả đều được báo cáo, mô hình rút lui ở năm phiên và nộp ba. Hai trong số đó giúp nó tốt hơn đáng kể trên 490 bài toán mới: +6,6 điểm (từ 57,2% lên 63,8%) và +4,0 điểm. Mức cải thiện lớn hơn đến từ một thay đổi đơn giản đến bất ngờ — chỉnh nhẹ một thiết lập trong mọi lớp chú ý tuyến tính (linear-attention layer) — sau đó ít câu trả lời bị hết token hơn. Ở một bài toán, mô hình gốc lặp lại một câu duy nhất 549 lần mà không trả lời; sau chỉnh sửa, nó trả lời đúng. Mỗi phiên đứng sau những mức cải thiện lớn nhất chạy trong vài giờ trên một GPU duy nhất.
Chỉ mô hình lớn nhất làm được
Với cùng nhiệm vụ và công cụ, kích thước tạo nên toàn bộ khác biệt. Mô hình 2 tỷ tham số không thực hiện chỉnh sửa nào: phần lớn mã của nó bị lỗi. Các mô hình 4 và 9 tỷ thêm nhiễu ngẫu nhiên vào trọng số của mình và tự làm hỏng chính mình; mô hình 9 tỷ thậm chí còn nộp một chỉnh sửa khiến nó không thể trả lời các bài toán mới. Chỉ mô hình 27 tỷ đo đạc trước khi hành động và giữ lại những gì các phép thử của nó ủng hộ. Với các tác giả, đây là bằng chứng đầu tiên, trong một họ mô hình, rằng khả năng chẩn đoán và viết lại trọng số của chính mình tăng theo kích thước.
Các khẳng định dựa trên điều gì
Kết quả đến từ một họ mô hình duy nhất và chủ yếu từ các bài toán. Các mức cải thiện chủ yếu sửa những câu trả lời không bao giờ kết thúc, và một trong ba chỉnh sửa được nộp không mang lại cải thiện đáng kể nào. Bản sửa chữa khôi phục phần lớn, chứ không phải toàn bộ, những gì mà sự hư hỏng đã lấy đi. Các tác giả hình dung một tương lai trong đó việc cải thiện một mô hình chỉ cần “một cuộc trò chuyện thay vì một lần huấn luyện”, và có thể là một con đường hướng tới những mô hình tự cải thiện hết lần này đến lần khác. Con đường đó, họ nhấn mạnh, phải được đi với con người tham gia vào vòng lặp (in the loop): mỗi phiên bản mà một mô hình tạo ra từ chính nó đều được đánh giá, về độ an toàn cũng như về nhiệm vụ, và được một người xác nhận.
