リザーバコンピューティングを用いた学習内容再利用のための継続階層学習

概要

本論文では,複数タスクを永続的に学習して再利用する「継続学習」と,タスク学習中に存在するサブタスクを陽に保持して再利用する「階層学習」の2つの側面から,過去の学習情報の再利用を狙う.
継続学習について,リザーバコンピューティングと呼ばれるネットワークモデルを利用し,モジュール構造を持つネットワークで設計することで,学習した内容を失うことなくオンラインでの学習を可能とする枠組みを提案した.
また階層学習について,タスクを分割して階層化することで高度なタスク学習を簡易化するとともに,通常のEnd-to-End学習が陽に抽出できないサブタスクを獲得し,別タスクの学習に利用可能とする枠組みを併せて提案した.
提案手法は4脚ロボットの動力学シミュレーションにおいて,下位レイヤーでは脚の逆運動学の継続学習を行い,ネットワークのモジュール化による学習内容の保持性能改善を確認した.また上位レイヤーでは移動タスクの学習を行い,サブタスクの獲得による学習の簡易化を確認した.

成果

破滅的忘却を緩和し永続的にタスク学習を行える手法として,リザーバコンピューティングを用いた継続学習の枠組みを提案した.
また高次元対象のタスク学習に対し学習の簡単化およびサブタスクの流用を狙い,構造化したリザーバコンピューティングに階層学習の枠組みを盛り込んだ.
高次元対象としてV-REPを用いて4脚ロボットの学習環境を用意し,歩行・旋回タスクの学習を行った.シミュレーションにより歩行,旋回タスク共に提案手法が通常のEnd-to-End学習や下位レイヤーを事前に学習しない場合と比べ学習性能が優れていることを示した.
以下に提案手法の概念図と,提案手法を用いて学習した4脚ロボットの歩行タスクの様子を示す.