Unsupervised Learning of Object Keypoints for Perception and Control

[kzmssk]

観測画像の時間遷移に対応した特徴点を抽出することで強化学習の学習効率を上げる

論文本体・著者

• Tejas Kulkarni, Ankush Gupta, Catalin Ionescu, Sebastian Borgeaud, Malcolm Reynolds, Andrew Zisserman, and Volodymyr Mnih
  • DeepMind, University of Oxford
• http://arxiv.org/abs/1906.11883

解きたい問題

• 画像を観測とした強化学習において探索に有用な特徴量をうまく抽出して学習効率を上げたい
  • 方策ネットワークへの入力の質を上げる
  • 探索を行動空間ではなく特徴空間で考えたい

新規性

• CNNを使って画像の特徴量を複数の特徴点として表現するように学習するPointNetを利用して観測画像の時刻変化する部分を特徴点として抽出する手法(Transporter）を提案した

実装

論文 Fig. 1 より

• ランダムな方策などで観測画像を集める
• 時刻tとt+1の画像を入力として特徴点抽出を経てt+1の画像を復元する問題を解く
  • x_tが現時刻の観測、x_t’が未来の観測に相当する。PointNetは画像から（事前に決めた）K個の点を特徴点として予測するモデル。

論文 Fig. 1のTransportの説明。青が現時刻の画像、赤が未来の観測画像に相当する。

• 提案手法のポイントはPointNetが予測する点を時刻変化が大きい場所に誘導するような損失関数をデザインしているところ。具体的には時刻tの特徴量マップΦの特徴点（t, t’両方）の部分を時刻t’の特徴量マップで置き換える（transport）

実験・議論

論文 Fig. 2より。提案手法と既存手法で特徴点抽出を行った結果。Ground Truthは環境デザインから実験者があらかじめ決めたもの

• 画像そのままよりもTransporterの出力（特徴点と特徴量マップ）を入力にして使うことで強化学習の学習効率が上がった
• 予測される特徴点をどれだけ移動させるかを内発的な報酬にすることで探索効率をあげることができた
  • 特徴点の移動方向に応じた複数のQ関数を特徴点の移動量を報酬として学習
  • 探索時のQ関数はこれらの複数のQ関数群からランダムにサンプルして使う
  • さらに特徴点の移動量を使って絞り込みを行うことで探索領域を減らす

読んだ中での不明点などの感想

• この方法は背景が固定されたオブジェクトの移動を伴うような環境に対して効果的だが、著者らも結論で指摘しているように背景の変化やオクルージョンに脆弱なことが予想される。また特徴点の個数は事前に設定する必要があるがこれは環境依存なのでどう設定すれば良いのかがわからない。
• 特徴点の個数を変更して比較した結果を知りたかった。
• 探索効率をよくするために観測画像のモデル化をするという意味ではmodel basedな手法に位置付けられる。Egocentricな視点移動を含めたモデリングができればかなり強力な手法になりそう。

関連論文

• Unsupervised Learning of Object Keypoints for Perception and Control: PointNetの論文
• World Models: 環境の遷移をモデリングする方法
• Noisy Networks for Exploration: 探索を行う場合に行動空間ではなくQネットワークのパラメーターにノイズを加えることで探索を行う。
• Exploration by Random Network Distillation: 未知の状態へ到達することを内発的な報酬とする好奇心ベースの探索手法