ГУМАНОИДНЫЙ РОБОТ УЧИТСЯ ВЫБИРАТЬ, КУДА БИТЬ

Хороший игрок в настольный теннис делает две вещи одновременно. Он исполняет: двигает всем телом, чтобы отправить мяч туда, куда хочет. И он решает: выбирает точку, которая доставит сопернику проблемы. Возврат может быть точным, но лёгким для приёма, или хитрым, но слишком трудным для исполнения. Когда робот учится и тому и другому сразу, трудно понять, что именно приносит ему победу.

Команда из Чжэцзянского университета, Университета Цинхуа, Университета Тунцзи, Океанического университета Китая, Шанхайского инновационного института (Shanghai Innovation Institute) и лаборатории RoboParty Lab решила их разделить. Связь между ними — всего одна пара чисел: точка на столе, куда должен приземлиться мяч.

Тело, которое бьёт туда, куда велено

Робот — гуманоид Unitree G1 с 29 моторизованными суставами. Внешний трекер отслеживает мяч 100 раз в секунду.

Когда прилетает мяч, физический планировщик рассчитывает, что должна сделать ракетка — положение, скорость и угол в момент удара, — чтобы отправить мяч в заданную точку, с учётом гравитации, сопротивления воздуха, отскока и сетки. Затем нейросеть превращает этот план в команды для всего тела, 50 раз в секунду.

Обучение проходит в три этапа, в симуляции:

1. Научиться бить. Робот тренируется на мячах, подаваемых заданным образом, целясь в случайно выбранные точки.
2. Научиться вести розыгрыш. Два симулированных робота играют друг с другом. Мячи теперь приходят от ударов настоящего соперника, но цели по-прежнему случайны: тактики ещё нет.
3. Научиться играть. Управление всем телом замораживается. Вторая, отдельная сеть учится только выбирать одну из девяти зон стола — по недавней траектории мяча, своему положению, положению соперника и своей предыдущей цели. Её вознаграждают за выигранные очки, без единого тактического правила, прописанного вручную.

Сначала точность, потом ум

В симуляции 99,2% возвратов были правильными, и 94,3% из них попали в пределы 30 сантиметров от заданной точки при средней ошибке 15 сантиметров. Тренировка в розыгрышах сделала удары точнее и чаще правильными, чем такой же объём дополнительной тренировки на заранее заданных мячах.

Затем последовало ключевое испытание. Все игроки использовали в точности одно и то же замороженное тело, так что различался только выбор цели. Выученная стратегия выиграла:

• 89% очков у игрока, который всегда целится в центр;
• 82% у игрока, который целится наугад;
• 73% у игрока, который всегда целится как можно дальше от соперника.

Она не просто нашла несколько удачных точек. Она смещала цель подальше от того места, где стоял соперник, и от того, куда сама отправила предыдущий мяч.

Три партии против человека

На реальном G1, с тем же замороженным телом и положением человека, фиксируемым системой отслеживания движений, робот сыграл три партии до 11 против одного и того же игрока-любителя. Он выиграл 11:4, 11:6 и 11:9, с розыгрышами в несколько ударов и возвратами как справа, так и слева.

До клуба пока далеко

Авторы перечисляют, чего не хватает. Робот полагается на внешний трекер мяча и захват движений, а не на собственное зрение. Модель мяча не учитывает вращение. Девять зон ограничивают тактику, соперника робот видит лишь как точку на полу, а подаёт всегда в одно место. И все реальные партии он сыграл против одного любителя. Их более общий вывод — правило проектирования: сохранять смысл цели неизменным, пока тело под ним продолжает учиться.