HoloGAN: Unsupervised learning of 3D representations from natural images

[kogaki]

学習データは2D画像からのみで、3D表現(いろいろな方向へのレンダリング)を得る

論文本体・著者

• Thu Nguyen-Phuoc, Chuan Li, Lucas Theis, Christian Richardt, Yong-Liang Yang
• https://arxiv.org/abs/1904.01326

解きたい問題

• 2D画像だけのデータセットから3D表現を得る
  • ランダムなzと目的の方向θをいれて画像生成する。z固定でθを動かせば色んな方向の画像が生成できる

新規性

• 高品質な様々な向きの画像を、学習データが2D画像だけから生成できる

実装

論文 Fig. 3 より

• 1. スタイルzはAdaINを用いて複数のレイヤーに入力する、StyleGANに似た構造
• 2. 3D表現のレイヤー(オレンジ)と2D表現のレイヤー(緑)をProjection Unitでつなぐ
  • なお、Projection Unitのパラメタも学習対象。なぜならカメラパラメタは未知だから
• 3. 3D表現のレイヤーにランダムな回転(3D Transform)を加える。これにより、様々な方向に破綻のない3D表現が得られる
  • 例えばCarデータセットではy軸周りの回転を360度, x軸周りの回転を35度からランダムサンプリング

• ロスについて

  • 1. もちろん2Dデータセットと出力2DとのDiscriminator
  • 2. G,Dに加えて、画像からzを逆推定するEncoder Fを作り、F(G(z))とzの距離を縮める
    • 生成された画像にzが反映されていることを担保する
  • 3. "スタイル"のDiscriminatorも学習。中間層のfeatureの平均と分散を入力としてDiscriminate

実験・議論

論文 Fig. 6 より．上から、提案手法、ランダム回転なし、AdaINなし

• 当たり前だが、ランダム回転が、正面以外の生成に寄与している
• zをスタイルとしていれることで、同じ見た目の別向きの画像が安定して生成できている

読んだ中での不明点などの感想

• disentangle + 事前知識(回転不変であってほしい) はかなり未来のあるテーマに感じる

関連論文

• Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization
  • AdaINの論文

[sinAshish]

Is there any implementation available?