Mastering the Dungeon: Grounded Language Learning by Mechanical Turker Descent

[kogaki]

MTurkでアノテータに与えるタスクを工夫することで，より少ないアノテーションで問題が解ける良質なアノテーションを得る

論文本体・著者

• https://arxiv.org/abs/1711.07950
  • FAIR
  • ICLR2018

解きたい問題

• MTurkで、少ない金額で良い(=汎化性も高い)学習ができるアノテーションを得たい

新規性

• 他のアノテータが与えたアノテーションと 戦わせる アイディア

実装

• 評価値 = 既存のデータセットでの精度 + 未知の、他のアノテータが作ったデータセットでの精度
  • 学習には自分の作ったデータセット + 既存のデータセットを用いる
    • 既存のデータセットでの性能向上 + 未知のデータセットにも対応できる + 自分の作ったデータセットが未知のもの(既存と離れた)になる という複数の評価を最大化する
      • 他のアノテータのデータセットに対応 = 汎化性
      • 他のアノテータのモデルを性能落とすように競う = コーナーケースも対応
      • 既存のデータセットでの性能 = アノテーションの質の担保(嘘をつかない)

論文式1

• MiをDiで評価した精度 + MiをDall(既存)で評価した精度

論文図2 競争フェーズは細かく何度も行う

実験・議論

• 既存の，協調のみのモデルより，協調 + 競争の方が同じアノテーション数で良い精度を示した

読んだ中での不明点などの感想

• アノテーションが面白くなるなら人間はアノテータでもいいや。。

関連論文