چرا شبکهای از فنرها باید بخوابد؟
خواب چیست؟ آن را حالتی برگشتپذیر از استراحت میدانند که در آن جانور کمتر به محیط پیرامونش واکنش نشان میدهد — و پس از محرومیت از آن، به مقدار بیشتری از آن نیاز پیدا میکند. با چنین تعریفی، خواب در سراسر قلمرو جانوران دیده میشود: در پستانداران و پرندگان، ماهیها و کرمها، و حتی در جانورانی که هیچ دستگاه عصبی مرکزی ندارند، مانند عروسهای دریایی و هیدرها. این گستردگی پرسشی را پیش میکشد که ندا الملیجی (Nada Elmeligy)، نیدهی پاشینه (Nidhi Pashine) و جی. ام. شوارتس (J. M. Schwarz) در دانشگاه سیراکیوز (Syracuse University) مطرح کردهاند: آیا نیاز به خواب میتواند از خود یادگیری سرچشمه بگیرد، هر سامانهای که یاد میگیرد؟
هوش مصنوعی پاسخی نسبی دارد: از زمان الگوریتم «بیداری–خواب» (wake–sleep)، مرحلههایی شبیه خواب به شبکههای عصبی کمک کردهاند چیزهای تازه را بی فراموش کردن چیزهای قدیمی یاد بگیرند. اما این شبکهها از قاعدههای یادگیریای پیروی میکنند که بهطور ریاضی تجویز شدهاند. تیم چیزی سادهتر و صرفاً فیزیکی میخواست — مادهای که از راه سازوکار مکانیکی خودش یاد بگیرد.
فنرهایی که یاد میگیرند
یادگیرندهٔ آنها یک شبکهٔ نامنظم از فنرها است: 128 گره که با 354 تا 366 فنر به هم پیوستهاند. کاری که باید یاد بگیرد کاری مکانیکی است. وقتی یک جفت نیرو یک فنر را میکشد (ورودی)، فنری دیگر در فاصلهای دورتر (خروجی) باید با کششی دقیق پاسخ دهد. یادگیری بهطور محلی رخ میدهد: هر فنر سختی خود را بر پایهٔ کششهایی که حس میکند تنظیم میکند، بی هیچ پردازندهٔ مرکزی.
تیم 50 شبکه از این دست را روی جریانی از 23 نوبت آموزش داد: نُه کار تازه، آمیخته با 14 تکرار از کارهای پیشین. با پیشرفت این جریان، کسر هرچه کوچکتری از شبکهها موفق میشدند کارهای تازه را یاد بگیرند. تقصیر با خود کارها نبود: وقتی همین کارها نخست و از حالت آغازین آموزش داده میشدند، بیشتر یاد گرفته میشدند.
یادگیری ظرفیت یادگیری را مصرف میکند
توضیح در کمیتی نهفته است که نویسندگان آن را چیرگی (dominance) مینامند. دو سر یک فنر را بکشید تا بار پخش شود: بخشی در همان فنر میماند و بقیه از شبکهٔ پیرامونش میگذرد. چیرگی یک فنر سهمی است که نگه میدارد، میان 0 و 1. فنری که همهٔ بار را حمل میکند دیگر نمیتواند تغییرات را به بقیهٔ شبکه منتقل کند؛ فنری که هیچ باری حمل نمیکند چیزی برای انتقال ندارد. سودمندی آن برای یادگیری، که نویسندگان آن را انعطافپذیری (plasticity) آن مینامند، حاصلضرب f(1 − f) است: در هر دو حد صفر، و در نیم بیشینه.
پیش از آموزش، چیرگی فنرها نزدیک به میانگین است. آموزش آنها را قطبی میکند: برخی فنرها سرانجام تقریباً همهٔ بار میان دو سرشان را حمل میکنند و برخی دیگر تقریباً هیچ. و اینجا تیم قانونی دقیق را اثبات میکند. انعطافپذیری همهٔ فنرها را جمع بزنید تا ظرفیت یادگیری C شبکه به دست آید؛ بسنجید که چیرگیها چقدر از میانگین فاصله میگیرند تا قطبش P به دست آید. آنگاه C + P مقداری ثابت است که تنها ساختار شبکه آن را تعیین میکند. هر ذره قطبشی که به دست میآید، ظرفیت یادگیریای است که از دست میرود. نویسندگان P را «فشار خواب» شبکه مینامند. در شبیهسازیها، کارهایی که هنگام بالا بودن C از راه میرسیدند بسیار بیشتر یاد گرفته میشدند.
گوش سپردن به نوفه
آیا میتوان این آسیب را جبران کرد؟ در اصل، بله: فنرهایی را که بیش از حد چیرهاند ضعیف کنید و آنهایی را که بیش از حد ضعیفاند تقویت کنید. دشواری این است که چیرگی یک فنر به کل شبکه بستگی دارد. تیم میانبری محلی یافت: شبکه را از درون با نیروهای تصادفی کوچک تکان دهید، و میانگین انرژی ذخیرهشده در هر فنر چیرگی آن را آشکار میکند. آنگاه هر فنر تنها به سختی و کشیدگی خودش نیاز دارد.
این ترمیم، که میان نوبتهای کارها گنجانده شد، شبکهها را در سراسر جریان در حال یادگیری نگه داشت. در 49 شبکه از 50 شبکه از یک واهلش (relaxation) کور به سوی سختی حالت سکون بهتر عمل کرد. همچنین چند ویژگی خواب جانوران را بازتاب میداد. ترمیم وقتی چیز تازهای یاد گرفته نمیشد زیان میرساند، و وقتی حدود 40% از نوبتها کاری تازه میآوردند بیشترین کمک را میکرد. حذف سه جلسهٔ ترمیم آخر باعث شد «فشار خواب» انباشته شود، و جبران آن مقدار بیشتری لازم داشت — هرچند تنها 75.3% از آنچه حذف شده بود، و پس از شش جلسهٔ ازدسترفته 52.2%.
چرا ترمیم باید منتظر بماند
چرا هنگام یادگیری ترمیم نکنیم؟ چون کاری که در جریان است بر فنرهایی که آن را حمل میکنند کرنش میافزاید. خوانشهای انرژی آنها بالا میرود — در هر 50 شبکه — پس ترمیم فنرهای پرکار را با فنرهای بیش از حد چیره اشتباه میگیرد و درست همان مسیرهایی را که در حال استفادهاند نرم میکند. ترمیمی که در حین کار انجام شد نتایجی بسیار ضعیفتر از ترمیم برونخط داد.
از آنجا که این سوگیری همیشه خوانشها را فقط به سمت بالا میراند، فنری که در حین کار همچنان ضعیف خوانده میشود واقعاً ضعیف است. پس تیم یک تقسیم را آزمود: در «بیداری» تقویت، و فقط در «خواب» تضعیف. این روش تقریباً به خوبی ترمیم کاملاً برونخط کار کرد. تقسیم وارونه در همهٔ شبکهها عملکرد را بدتر کرد. نویسندگان به همانندیای در قشر بینایی موشهای صحرایی اشاره میکنند، جایی که فعالیت در بیداری به سمت بالا و در خواب به سمت پایین تنظیم میشود — توضیحی فیزیکی و ممکن که آن را فرضیهای برای آزمودن معرفی میکنند.
کلیدی که هنوز از بیرون زده میشود
شبکهها خودشان تصمیم به خوابیدن نمیگیرند: ناظری بیرونی یادگیری و ترمیم را زمانبندی میکند و هدف بازیابی را تعیین میکند. و چون ترمیم از کارهای گذشته چیزی نمیداند، حافظهها را فرسوده میکند، برخلاف خواب زیستی که تجربههای روز را نیز دوباره فعال میکند. پرسشهای بعدی نویسندگان این است که یک یادگیرنده چه زمانی خودبهخود به مرحلهای برونخط میرود — و آیا شکلی فیزیکی از رؤیا دیدن میتواند آنچه را تازه یاد گرفته است محافظت کند.
