人型ロボットが「どこを狙うか」を学ぶ

優れた卓球選手は、二つのことを同時にこなしている。一つは実行だ。全身を動かして、ボールを狙いどおりの場所に送る。もう一つは判断だ。相手を困らせる地点を選ぶ。返球は、正確でも相手に届きやすいことがあるし、巧妙でも成功させるのが難しすぎることもある。ロボットがこの二つを同時に学ぶと、どちらが勝因なのかを見分けにくい。

浙江大学、清華大学、同済大学、中国海洋大学、上海創智学院、RoboParty Labのチームは、この二つを切り離すことにした。両者をつなぐのは、たった一組の数値、つまりボールが台のどこに落ちるべきかという地点である。

言われた場所に打つ体

ロボットは人型のUnitree G1で、モーター駆動の関節を29個もつ。外部のトラッカーが毎秒100回ボールを追跡する。

ボールが飛んでくると、物理に基づくプランナーが、指定された落下地点へボールを送るためにラケットがどうすべきか（インパクト時の位置、速さ、角度）を割り出す。その際、重力、空気抵抗、バウンド、ネットが考慮される。続いてニューラルネットワークが、その計画を全身への指令に変換する。これを毎秒50回行う。

訓練はシミュレーションの中で3段階に分けて行われる。

打つことを学ぶ。 ロボットは決まった方法で投げられたボールを相手に、ランダムに選ばれた落下地点を狙って練習する。
ラリーを学ぶ。 シミュレーション上の2台のロボットが対戦する。飛んでくるボールは本物の相手の打球になるが、目標はまだランダムで、戦術はまだない。
試合を学ぶ。 全身の制御は凍結される。別の二つ目のネットワークが、台上の九つのゾーンから一つを選ぶことだけを学ぶ。手がかりは、ボールの直近の軌道、自分の位置、相手の位置、そして直前の目標だ。報酬はポイントを取ることで与えられ、手で書き込まれた戦術ルールは一切ない。

まず正確に、次に賢く

シミュレーションでは、返球の**99.2%がルール上有効な位置に落ち、そのうち94.3%**が指定地点から30センチメートル以内に入った。平均誤差は15センチメートルだった。ラリーの中で練習すると、あらかじめ設定されたボールで同じ量の追加訓練をした場合よりも、打球が正確になり、有効になる頻度も高かった。

そして核心となるテストだ。すべてのプレーヤーがまったく同じ凍結された体を使ったので、違うのは目標の選び方だけだった。学習した戦略は次のように勝った。

常に中央を狙うプレーヤーに対してポイントの89%。
ランダムに狙うプレーヤーに対して82%。
常に相手からできるだけ遠くを狙うプレーヤーに対して73%。

この戦略は、いくつかの良い地点を見つけただけではない。相手が立っている場所から、そして前の球を送った場所から、目標をずらしていたのだ。

人間との3ゲーム

実機のG1で、同じ凍結された体を使い、人間の位置はモーショントラッキングで取得して、ロボットは同じレクリエーションプレーヤーと11点制で3ゲームを戦った。結果は11–4、11–6、11–9で勝利した。複数回の打ち合いが続くラリーもあり、フォアハンドとバックハンドの両方で返球した。

クラブで通用するのはまだ先

著者らは足りないものを挙げている。ロボットは自分の目ではなく、外部のボールトラッカーとモーションキャプチャーに頼っている。ボールのモデルは回転を考慮していない。九つのゾーンでは戦術が限られ、相手は床の上の位置としてしか見えておらず、サーブは決まった地点に打つ。そして、実戦はすべて一人のアマチュアを相手にしたものだった。著者らのより大きな主張は一つの設計原則である。下にある体が学び続けても、目標の意味は固定しておく、というものだ。