Google DeepMind は深層強化学習（Deep RL）を使用して、小さな二足歩行ロボットにサッカーを教え、そのプレイする様子をX（Twitter）に投稿した。

DeepMindの研究者らはDeep RLを用いてマルチロボットサッカー用の市販ロボットを訓練。トレーニング方法は大きく2段階に分けられており、最初のステップでは立ち上がり、強化学習訓練を受けていないロボットたちを相手に得点を決めることだった。

もうひとつのステップは、「MuJoCo物理エンジンを使ったシミュレーションでサッカーのスキルをトレーニングし、そのスキルを全身20箇所の関節を備えた小型ヒューマノイドに転送した」と述べている。それはまず歩行から始まり、方向転換、ボールを蹴り、転倒したら起き上がる動作etc…。そして最終的に、ロボットは相手のシュートをブロックすることまでが含まれた。

研究者は「ロボット工学は長い間、複雑な動作や環境認識などの能力を確かめるために、サッカーなどのゲームを使ってきた」とし、今回のサッカーロボたちが「実験的な試合では、スクリプト化されたスキルのベースラインに基づいて作業するロボットエージェントよりも、181%速く歩き、302%早く回転し、34%早くボールを蹴り、転倒から立ち上がるのにかかる時間が63%短くなった」とチームは述べた。

さらに、研究者らは試合を通じて、深層強化学習で訓練されたロボットが足の角で回転したりなど、スクリプト化が難しい創造的な動作を示したことも観察した。

研究チームによると、この研究は人型ロボットの全身制御を獲得する深層強化学習の能力を実証し、将来的にはより大規模なロボットに応用できる可能性があるとしている。

研究共著者のひとりは、今回の研究でロボットが習得した動作は「スクリプト化されたベースライン コントローラーよりもフレームワークの方が速く動作し、より複雑なマルチロボット・インタラクションが可能になる可能性がある」とした。

この研究は将来的に、複数のロボットで構成されるチームマッチのトレーニングを検討している。2対2で行われたサッカーの予備的な実験では、エージェントは分業性を示したが、敏捷性は低かった。

さらに研究者は、ロボットに搭載されたセンサーのみでエージェントを訓練し、外部からのデータ供給なしに、自身の搭載するカメラのイメージから情報を推測するようにしていきたいと考えている。

この研究に関する論文はSience Roboticsに掲載された。

Source: Science Robotics
via: Intereting Engineering, IoT World Today