Taskonomy: Disentangling Task Transfer Learning

[kzmssk]

転移学習における事前学習と転移先のタスクの相性を解析・可視化し，最適な組み合わせを求める手法を提案．

論文本体・著者

• Taskonomy: Disentangling Task Transfer Learning
• Authors: Amir Zamir, Alexander Sax, William Shen, Leonidas Guibas, Jitendra Malik, Silvio Savarese
• Affiliations: Stanford University, University of California, Berkeley
• Project page
• arXiv

解きたい問題

• Computer Vision(CV)の問題を深層学習モデルで解くためには多くの学習計算が必要
• 別のタスクを解くことができるモデルの重みを再利用することで計算量を抑えたい（転移学習）
• どのタスクが事前学習として最適なのかを知りたい
  • たとえばSurface normalの推定と深度推定はどちらかが分かれば，もう一方も推定できる
  • 深度推定のモデルは画像シーンのラベル付けに使えるか？

新規性

• 複数のタスク間の組み合わせを実際に試し，タスク間の転移学習効率を解析し可視化したこと
• 26個のCVタスクの関係性を深層学習モデルの転移学習効率という尺度で整理したこと

実装

論文 Fig. 2 より

Source→Targetという2つのタスク間の転移学習を想定．1つの画像に対してタスクごとに異なる教師データを持つデータセットを用意しておく．

多くのSourceタスクを解いたモデルとTargetタスク解決の際に入力するSourceモデルからの特徴量のバリエーションを増やせば性能がよくなるが，実際にはSourceタスクを学習するためのコスト（計算量，データセット作成の手間）がかかる．そのため本論文ではBudget=Sourceタスクの数，と定義し，Budgetと転移学習後の性能のトレードオフ関係を考慮している．

1. Sourceタスク群をEncoder/Decoderの構造を持つCNNでSourceタスクを学習
2. Source+Targetの全タスクで追加学習
   • Encoderから得られた特徴量を入力としてDecoderのみを新たに学習
3. タスク間での転移の効率を評価した行列(Task affinity matrix)を作成．
   • TargetタスクでのLossを指標にすると予測結果の精度と線形の関係になっていない場合に正規化がうまくいかない
   • 何パーセントのテストデータが成功したのかを指標にする
   • Sourceタスクごとに正規化
   • タスクをエッジとした固有ベクトル中心性を求める
4. タスク間の指向性グラフ（Task taxonomy = taskonomy)を作成
   • あるTargetタスクを解くためにもっとも良いSourceタスクの組み合わせを求める．
     • 3で求められたTask affinity matrixと，ユーザーが指定したパラメータを拘束条件として求める
       • Targetタスクの重要性（ユーザーが決める）
       • 教師データを作るときのコスト（ユーザーが決める）
       • 転移は１回だけ
       • ユーザーが決めたBudgetを上回らない
       • Boolean Integer Programmingで解く（数秒で解ける）

実験・議論

方法

• 26のタスクを用意．内，4つはsourceタスクのみに使う
  • Surface normal，オブジェクトのクラス，シーンのクラス，色付け，セグメンテーションなど
• EncoderはFully convolutional ResNet-50，Decoderは2層程度の小さいモデル
• 複数のSourceタスクのEncoderから入力できる特徴量の数は4まで
  • 組合せ爆発が起きるのでBeam searchを使う
• データセットの大きさはTraining: 120k, Validation: 16k, Test: 17k
  • ValidationをTargetタスクの学習時に使う

結果

Budgetを最大（全タスクをSourceとして考慮）にしても，Validationデータでスクラッチから学習するよりも良い結果を出し，かつTraining dataでスクラッチの場合と近い精度を出すタスク組み合わせが得られた．

論文 Fig. 8 より　Budgetと最大のSourceの数を変更しながらTaskonomyを作成した結果 デモサイト

• 得られたTaxonomyの評価を転移学習後のモデルと他の条件で学習したモデルとの比較を通して行なった
  • Gain: Targetタスクを事前学習なしに学習した場合との比較
  • Quality: TargetタスクでTraining dataset (120k)を使って学習した場合との比較
  • デモサイトでどのタスクの組み合わせがよい結果を出すのかをグラフで閲覧できる
  • Sourceの数とBudgetを増やすと性能向上する傾向がみられた
  • 未知のタスクに対して転移学習をしたい場合を想定して，Targetタスクが1つのみの場合も実験した
    • 既存モデル（Imagenetなど）を事前学習なし，かつ提案手法よりも多くのデータで学習した場合と比べて〜60％の精度がでた
  • RandomにSourceとTargetを選んだ場合より提案手法が良いGainとQualityを出した
  • データセットが転移学習時に変わった場合を比較
    • ImageNet，MIT Placesデータセットでも得られるTargetタスクの性能順位に相関がみられた
  • モデルの構造，データ量，タスクの選び方などを変えてもほとんど同じTaskonomyが得られた
  • Taskonomyを使ってタスクのSimiarity Treeを作成した
    • Task affinity matrixを利用して作成
    • Semantic，低次元データの予測，2D画像の予測，3Dデータの予測というタスクのクラスタがみられた

読んだ中での不明点などの感想

• 結果が大きく悪くなるSourceタスクの組み合わせも知りたい！
• 論文中で最後に触れられているが，ロボットのEnd-to-End制御モデルへの応用が可能なのかは興味深い

関連論文

• Representation Learning: A Review and New Perspectives: 深層学習モデルを使った「よい」特徴量獲得のための教師なし学習研究のサーベイ
• Synthesizing Images of Humans in Unseen Poses: 前景背景分離・セグメンテーション・inpainting・pose2imgを微分可能な1つのモデルで解く
• Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer: 転移学習をEncoder/Decoderという枠組みではなくSource-Targetモデルのそれぞれの中間層の特徴量距離を制約にした学習で行う研究（Knowledge Distillationの応用）

[kogaki]

CVPR2018 Best Paper