Retrieval and Visualization of Human Motion Data via Stick Figures

[xchiex17]

棒人間のスケッチでモーションを検索する方法

論文本体・著者

• Myung Geol Choi (The University of Edinburgh, UK & JST ERATO, Japan)
• Kyung-young Yang (Seoul National University, South Korea)
• Takeo Igarashi (The University of Tokyo, Japan & JST ERATO, Japan)
• Jun Mitani (University of Tsukuba, Japan & University of Tsukuba, Japan)
• Jehee Lee (Seoul National University, South Korea)

論文情報

• http://www.jst.go.jp/erato/igarashi/en/projects/MotionComics/index.html
• Pacific Graphics 2012 (ベストペーパー賞)

解きたい問題

論文 Figure 1.より
スケッチからモーションを検索する。スケッチを描くとモーションの候補が表示され、候補に対応した動きがスケルトンで確認できる。

• スケッチから候補のGenerated棒人間の探し出す。
  • スケッチ⇔Generated棒人間を探す点と、
  • モーション群からGnereated棒人間を作る点二つが大きなポイントとなる。

新規性

• 予備調査を行い、調査結果に基づく、モーションデータ⇒一Generated棒人間のシークエンスを生成するアルゴリズムを開発
• 検索の際に用いる、棒人間の特徴に基づいた比較法により、インタラクティブかつ逐次検索を実現
• 102個のモーションファイルを含むデータベースから、目的のモーションセグメントを検索するためのインタフェースを提案、実装

予備調査

モーションに対する棒人間の描かれ方を調査。

論文 Figure 2.より
予備調査によって描かれた棒人間の様子

• 予備調査により、棒人間を描く際の共通事項があった。
  • モーションは連続だが、スケッチに絵が描かれるフレームは、ほとんどの場合がモーションの方向が変わった瞬間や、止まった瞬間だった。
    • キックなどがいい例で、足を最高到達点に振り上げた時を描いてる。
  • 動きの方向が連続的に変わる場合、ユーザはMoving Path(動きの軌跡を表す線) を描く。
  • ユーザが描く棒人間の見られる向きは固定されない(見せたモーションの動きはカメラの向きは変化していた)。

実装

Generating Stick Figures

予備調査に基づき、候補に見せるGnerated棒人間を作る。

• キー姿勢に選ぶのは、モーションの方向が変化した際にする。
  • 加速度０になった時をモーションの方向が変化した瞬間とみなした。
• 最後のキー姿勢に対し、Movig pathをつける。
  • キー姿勢からの各ジョイントの距離をはかり、閾値を超えているジョイントをMoving JointとしてMoving path(trajectory line)をつける。
• 正面からの0~180度を５段階に分けて、棒人間とMoving pathのスペースが最も大きくなる方向を選ぶ。
  • 一連の3D座標のセットをサンプリングし、投影された2D点の標準偏差を最大にする平面を選ぶ。
  • 動きが小さすぎるorない場合は単純にキー姿勢が最も大きくなる面を選ぶ。

Retrieving

論文 Figure 4.より

• モーション側のスケルトンからFig.4(b)のようなスケルトンツリーを生成する
• スケッチ側は、描くことに対して２つのルールを設けた
  • １ストロークは、１パーツ。すなわち、四肢か胴体、目か頭。
  • いつもパーツ通しはつながってるパーツを描く。すなわち、左足を１本目に書いた後に右足描くみたいなことはない。
• スケッチは、丸か線かをハフ変換を用いて判別する。丸なら頭。
• Trajectory lineはQinらのストローク分類アルゴリズムを用いて、線、円弧、楕円、複合体のいずれかに分類する。
• 検索は、ありうるすべてのパタン(13!)から、不可能なパターンを削った（trajecrotry-correspondenceを取ると表現）もので行う。

Feature Vector Extraction

Eye Linkの長さを基準に０～１に正規化する。
スケルトンの特徴量ベクトルは以下であらわされる。

すなわち、f^sは、i番目のリンクに関する2Dのxとyそれぞれのベクトルを並べたものである。
また、各線は以下のように10点にサンプリングされる。これをf^k_tと表す。

バーがついてる文字変数は、Generated棒人間の各ベクトル。
スケッチとGenerated棒人間の距離は以下の式ではかられる。

実験・議論

論文 Figure 7.および8.より
上図は、各モーションを探すためにユーザが描いたスケッチ。
下図が各モーションを探すのにかかった時間。
青が、提案手法のスケッチ検索インタフェースを用いて検索したグループ。赤が、Generated棒人間の羅列から探したグループ。
ゴルフの例以外は提案スケッチインタフェースのほうが早い。ゴルフは線が複雑になりがちで、スケッチ範囲が狭い瞬間を描くことなども多かったため失敗した。

Limitation

論文 Figure 9.より
バク転を探した時の例。バク転を描くのがそもそも難しくて、(a)とか(b)みたいなpoor descriptionにしかならなかったので難しかったらしい。(c)みたいにキー姿勢をそもそもDBとは異なるものを描いてしまう被験者もいたとのこと。

読んだ中での不明点などの感想

関連論文