拡大Tchebyshev 関数を用いた多目的最適化による
ホライズン予測に適した潜在ダイナミクスモデルの選好

概要

近年の深層学習技術の発達に伴い,センサで計測できる数値データを基にした,潜在的なダイナミクスモデルの学習とその制御応用が注目を集めている.このような潜在動的モデルの学習問題では,未知システムに対するダイナミクスを表すのに必要な状態を直接は観測できない環境を対象とするため,本質的に潜在変数の推論問題となる.

(観測データに基づく潜在ダイナミクスの推論)

既存研究では,潜在変数の事後分布を推定し,潜在変数の推論モデル (エンコーダ),観測変数の生成モデル (デコーダ),潜在変数の遷移モデル (潜在ダイナミクスモデル) を全て同時に最適化する.この解法は観測された時系列データの周辺化対数尤度の変分下界最大化問題として定式化され,その変分下界は各モデル間の相互作用や正則化を表す複数の目的関数の線形加重スカラー化とみなせる.すなわち,この定式化は潜在空間の構造を特徴づける多目的最適化問題といえるが,この観点で考えると従来手法には2つの問題点がある.

  1. 多目的最適化問題にはパレートフロント(パレート解集合)が存在し,工学的設計問題の観点からは設計者の意思に沿ったパレート解(選好解)をどのように得るかが重要な問題である.しかし,線形加重スカラー化はパレートフロントの凸部でしか解を見つけられない事が知られており,達成可能な選好解は限定される.
  2. 各目的関数は深層ニューラルネットワークによって表される複雑な非線形関数であるため,目的関数間のトレードオフを把握できない.そのため選好基準を与える重みパラメータの調整が困難である.

本論文では,上記2つの問題を取り上げ,モデルベースの下流タスク(モデル予測制御など)に要求される長期ステップ予測に適した潜在ダイナミクスモデルを学習するための方法を提案した.具体的には, i. 拡大Tchebyshev関数によるスカラー化によりパレートフロントの形状に関係なくパレート解を発見可能にし, ii. ベイズ最適化に基づき複数目的間でのバランスを調整することで長期ステップ予測を達成する選好解を効率的に発見する.

(潜在空間の多目的構造図)

成果

本稿では,長期予測に適した潜在ダイナミクスモデルを獲得することを目的とし,潜在動的モデルを選好可能な方法を提案した.ロボットマニピュレータによる物体操作問題のシミュレーションにおいて,カメラ画像から環境の潜在ダイナミクスモデル学習を行い,特性・性能評価および制御応用をとおして提案手法の有効性を示した.

(獲得したモデルのモデル予測制御応用 上:従来法,下:提案法)