İNSANSI BİR ROBOT NEREYE NİŞAN ALACAĞINI ÖĞRENİYOR

İyi bir masa tenisi oyuncusu aynı anda iki şey yapar. Uygular: topu istediği yere koymak için bütün bedenini hareket ettirir. Ve karar verir: rakibi zorlayacak noktayı seçer. Bir dönüş isabetli ama ulaşılması kolay, ya da zekice ama yapılması çok zor olabilir. Bir robot ikisini birden öğrendiğinde, hangisinin onu kazandırdığını ayırt etmek zordur.

Zhejiang Üniversitesi, Tsinghua Üniversitesi, Tongji Üniversitesi, Çin Okyanus Üniversitesi, Şanghay İnovasyon Enstitüsü ve RoboParty Lab’den bir ekip bunları ayırmayı seçti. İkisi arasındaki bağ tek bir sayı çiftidir: topun masada düşmesi gereken nokta.

Kendisine söylenen yere vuran bir beden

Robot, 29 motorlu eklemi olan bir Unitree G1 insansısı. Harici bir izleyici topu saniyede 100 kez takip ediyor.

Bir top geldiğinde, fiziğe dayalı bir planlayıcı, topu istenen düşme noktasına göndermek için raketin ne yapması gerektiğini, yani vuruş anındaki konumunu, hızını ve açısını hesaplıyor; yerçekimini, hava sürtünmesini, sekmeyi ve fileyi hesaba katıyor. Ardından bir sinir ağı bu planı saniyede 50 kez bütün beden için komutlara dönüştürüyor.

Eğitim simülasyonda üç aşamada gerçekleşiyor:

1. Vurmayı öğrenmek. Robot, belirli bir şekilde atılan toplarla, rastgele seçilen düşme noktalarına nişan alarak alıştırma yapıyor.
2. Ralli yapmayı öğrenmek. Simüle edilmiş iki robot birbiriyle oynuyor. Gelen toplar artık gerçek bir rakibin vuruşlarından geliyor, ama hedefler hâlâ rastgele: henüz taktik yok.
3. Oynamayı öğrenmek. Bütün beden kontrolü donduruluyor. İkinci, ayrı bir ağ yalnızca masadaki dokuz bölgeden birini seçmeyi öğreniyor; bunu topun son yolundan, kendi konumundan, rakibin konumundan ve önceki hedefinden yola çıkarak yapıyor. Sayı kazandıkça ödüllendiriliyor; elle yazılmış hiçbir taktik kural yok.

Önce isabetli, sonra daha akıllı

Simülasyonda dönüşlerin %99,2’si geçerli düştü ve bunların %94,3’ü istenen noktanın 30 santimetre yakınına, ortalama 15 santimetre hatayla. Rallilerde alıştırma yapmak, önceden ayarlanmış toplarla aynı miktarda ek eğitime göre vuruşları daha isabetli ve daha sık geçerli kıldı.

Sonra kilit test geldi. Her oyuncu tamamen aynı donmuş bedeni kullandı, dolayısıyla yalnızca hedef seçimi farklıydı. Öğrenilen strateji şunları kazandı:

• hep ortaya nişan alan bir oyuncuya karşı sayıların %89’u;
• rastgele nişan alan birine karşı %82;
• hep rakipten olabildiğince uzağa nişan alan birine karşı %73.

Yalnızca birkaç iyi nokta bulmakla kalmadı. Hedefini rakibin durduğu yerden ve bir önceki topu gönderdiği yerden uzağa kaydırdı.

Bir insana karşı üç oyun

Gerçek bir G1 üzerinde, aynı donmuş bedenle ve insanın konumu hareket yakalama ile alınarak, robot aynı amatör oyuncuya karşı 11’lik üç oyun oynadı. 11–4, 11–6 ve 11–9 kazandı; çok vuruşlu ralliler yaptı, hem forehand hem backhand dönüşler gerçekleştirdi.

Henüz kulüp düzeyinde değil

Yazarlar eksikleri sıralıyor. Robot kendi gözleri yerine harici bir top izleyicisine ve hareket yakalamaya dayanıyor. Top modeli falsoyu (spin) hesaba katmıyor. Dokuz bölge taktiklerini sınırlıyor, rakibi yalnızca yerdeki bir konum olarak görüyor ve servisi sabit bir noktaya atıyor. Ayrıca tüm gerçek oyunları tek bir amatöre karşıydı. Daha genel mesajları bir tasarım kuralı: alttaki beden öğrenmeye devam ederken hedefin anlamını sabit tutmak.