VÌ SAO MỘT MẠNG LÒ XO LẠI CẦN NGỦ?
Giấc ngủ là gì? Nó được xác định là một trạng thái nghỉ có thể đảo ngược, trong đó một con vật phản ứng ít hơn với môi trường xung quanh — và cần nhiều giấc ngủ hơn sau khi bị thiếu ngủ. Được định nghĩa như vậy, giấc ngủ xuất hiện khắp giới động vật: ở thú và chim, cá và giun, và thậm chí ở những động vật không có hệ thần kinh trung ương, như sứa và thủy tức. Phạm vi rộng ấy đặt ra một câu hỏi mà Nada Elmeligy, Nidhi Pashine và J. M. Schwarz tại Đại học Syracuse đã nêu: liệu nhu cầu ngủ có thể đến từ chính việc học, bất kể hệ thống học là gì?
Trí tuệ nhân tạo có một phần câu trả lời: kể từ thuật toán “thức–ngủ” (wake–sleep), các giai đoạn giống giấc ngủ đã giúp mạng nơ-ron học điều mới mà không quên điều cũ. Nhưng những mạng này tuân theo các quy tắc học được quy định bằng toán học. Nhóm nghiên cứu muốn một thứ đơn giản hơn và thuần túy vật lý — một vật liệu học thông qua chính cơ học của nó.
Những lò xo biết học
Hệ học của họ là một mạng lò xo mất trật tự: 128 nút được nối bằng 354 đến 366 lò xo. Nhiệm vụ mà nó phải học là một nhiệm vụ cơ học. Khi một cặp lực kéo một lò xo (đầu vào), một lò xo khác ở xa hơn (đầu ra) phải đáp lại bằng một lực căng chính xác. Việc học diễn ra cục bộ: mỗi lò xo tự điều chỉnh độ cứng của mình dựa trên các lực căng mà nó cảm nhận, không có bộ xử lý trung tâm nào.
Nhóm nghiên cứu huấn luyện 50 mạng như vậy trên một chuỗi 23 lượt: chín nhiệm vụ mới, xen lẫn với 14 lần lặp lại các nhiệm vụ trước đó. Khi chuỗi tiếp diễn, tỉ lệ mạng học được các nhiệm vụ mới ngày càng nhỏ đi. Bản thân các nhiệm vụ không có lỗi: khi được huấn luyện trước tiên, từ trạng thái ban đầu, cũng chính những nhiệm vụ đó được học thành công thường xuyên hơn.
Việc học tiêu hao khả năng học
Lời giải thích nằm ở một đại lượng mà các tác giả gọi là độ chi phối (dominance). Kéo hai đầu của một lò xo và tải sẽ lan ra: một phần ở lại trong lò xo đó, phần còn lại đi qua mạng xung quanh nó. Độ chi phối của một lò xo là phần mà nó giữ lại, nằm giữa 0 và 1. Một lò xo gánh toàn bộ tải không còn truyền được thay đổi sang phần còn lại của mạng; một lò xo không gánh gì thì chẳng có gì để truyền đi. Mức độ hữu ích của nó cho việc học, mà các tác giả gọi là độ dẻo (plasticity), là tích f(1 − f): bằng không ở cả hai cực, lớn nhất ở mức một nửa.
Trước khi huấn luyện, độ chi phối của các lò xo nằm gần giá trị trung bình. Việc huấn luyện phân cực chúng: một số lò xo rốt cuộc gánh gần như toàn bộ tải giữa hai đầu của chúng, những lò xo khác gần như không gánh gì. Và ở đây nhóm nghiên cứu chứng minh được một định luật chính xác. Cộng độ dẻo của mọi lò xo lại để có khả năng học C của mạng; đo mức độ các độ chi phối lệch khỏi giá trị trung bình để có độ phân cực P. Khi đó C + P là một hằng số, chỉ do cấu trúc của mạng quyết định. Mỗi chút độ phân cực có thêm là một chút khả năng học bị mất đi. Các tác giả gọi P là “áp lực ngủ” của mạng. Trong các mô phỏng, những nhiệm vụ đến vào lúc C cao được học thành công thường xuyên hơn hẳn.
Lắng nghe tiếng ồn
Có thể đảo ngược tổn hại này không? Về nguyên tắc là có: làm yếu những lò xo chi phối quá mức, tăng cường những lò xo quá yếu. Khó khăn là độ chi phối của một lò xo phụ thuộc vào toàn bộ mạng. Nhóm nghiên cứu tìm ra một lối tắt cục bộ: rung mạng bằng những lực ngẫu nhiên nhỏ từ bên trong, và năng lượng tích trữ trung bình của mỗi lò xo sẽ tiết lộ độ chi phối của nó. Khi đó mỗi lò xo chỉ cần biết độ cứng và độ giãn của chính nó.
Khi được chèn vào giữa các lượt nhiệm vụ, việc sửa chữa này giữ cho các mạng tiếp tục học được suốt chuỗi. Nó vượt trội so với việc thả lỏng mù quáng về độ cứng nghỉ ở 49 trong số 50 mạng. Nó cũng gợi lại một số đặc điểm của giấc ngủ ở động vật. Việc sửa chữa gây hại khi không có gì mới được học, và giúp ích nhiều nhất khi khoảng 40% số lượt mang đến một nhiệm vụ mới. Bỏ qua ba buổi sửa chữa cuối khiến “áp lực ngủ” tích tụ, và việc bù lại cần một liều bổ sung — dù chỉ bằng 75,3% lượng đã bị bỏ qua, và 52,2% sau sáu buổi bị bỏ lỡ.
Vì sao việc sửa chữa phải chờ
Tại sao không sửa chữa trong lúc học? Bởi vì một nhiệm vụ đang diễn ra làm tăng thêm sức căng cho các lò xo đang gánh nó. Số đo năng lượng của chúng đi lên — ở cả 50 mạng — nên việc sửa chữa nhầm những lò xo đang bận thành những lò xo chi phối quá mức và làm mềm chính những đường truyền đang được sử dụng. Sửa chữa trong lúc làm nhiệm vụ cho kết quả kém hơn nhiều so với sửa chữa ngoại tuyến.
Vì độ lệch này chỉ luôn đẩy số đo lên, một lò xo vẫn hiện ra là yếu trong lúc làm nhiệm vụ thì thực sự là yếu. Vì vậy nhóm nghiên cứu thử một cách chia: tăng cường trong lúc “thức”, chỉ làm yếu đi trong lúc “ngủ”. Cách này hiệu quả gần bằng việc sửa chữa hoàn toàn ngoại tuyến. Cách chia ngược lại làm giảm hiệu suất ở mọi mạng. Các tác giả ghi nhận một điểm tương đồng ở vỏ não thị giác của chuột, nơi hoạt động được điều chỉnh tăng lên trong lúc thức và giảm xuống trong lúc ngủ — một lời giải thích vật lý khả dĩ mà họ trình bày như một giả thuyết cần kiểm chứng.
Một công tắc vẫn được bật từ bên ngoài
Các mạng không tự quyết định đi ngủ: một bộ giám sát bên ngoài lên lịch cho việc học và việc sửa chữa, và đặt ra mục tiêu phục hồi. Và vì việc sửa chữa không biết gì về các nhiệm vụ trước đó, nó làm xói mòn ký ức, không giống giấc ngủ sinh học, vốn còn tái kích hoạt những trải nghiệm trong ngày. Những câu hỏi tiếp theo của các tác giả là khi nào một hệ học sẽ tự chuyển sang một giai đoạn ngoại tuyến — và liệu một dạng mơ vật lý có thể bảo vệ những gì nó vừa học được hay không.
