Merge pull request #2 from rl-tokyo/create-template

テンプレートの仕様を決め、作る

README.md

@@ -1 +1,65 @@
 # rl-tokyo/survey
+強化学習論文のサーベイ用リポジトリです。
+
+## 論文追加方法
+- テンプレートから一つのmdファイルを生成してそこに一つの論文に関する情報・まとめ・コメントを加えて行きます。
+- 基本的に1PR1論文。まとめ事項などに対してレビューが入った場合は対応をお願い致します。
+
+#### 例
+
+```sh
+$ ./init.sh
+title:
+PGQ: Combining policy gradient and Q-learning
+$ ls papers
+PGQ: Combining policy gradient and Q-learning.md
+...
+```
+
+生成された`papers/PGQ: Combining policy gradient and Q-learning.md` にまとめ事項やコメント等を書いてPRを出してください。
+
+## 記述項目について
+複数人でサーベイしてもバラバラの書き方ではメリットを享受できないため、ある程度フォーマットを決めています。
+ただ細かすぎると投稿者が減ってしまうので、最低限の必要事項は少なくしてあります（**太字**）。
+
+#### 例:
+
+- [記述項目をほぼすべて埋めた例](https://github.com/rl-tokyo/survey/blob/master/papers/%5BEXAMPLE%5D%20PGQ:%20Combining%20policy%20gradient%20and%20Q-learning.md)
+- [最低限の記述項目だけ埋めた例](https://github.com/rl-tokyo/survey/blob/master/papers/%5BEXAMPLE-short%5D%20PGQ:%20Combining%20policy%20gradient%20and%20Q-learning.md)
+
+### 論文情報
+
+- **タイトル** (required)
+- **リンク** (required)
+- **出版年** (required)
+- ジャーナル・カンファレンス (optional) :
+- 著者 (optional)
+- 所属 (optional)
+- 関連リンク (optional)
+- タグ (optional)
+
+### （客観的な）論文まとめ
+各最大3行以内が目安
+
+- **概要** (required): 何をしたのか？（一体どういったことをしている論文なのかをひと言で）
+- 目的 (optional): 何故したのか？（何故この研究をしたのか・何故その手法を提案したのかの理由をひと言で）
+- 貢献（新規性・差分）(optional): これまでの先行研究とどこが違うのか？を一言で
+- 手法 (optional): どうやってしたのか？（手法のポイントをひと言で）
+- 結果 (optional): どうなったのか？（結果がどういう指標で、どうだったのかをひと言で）
+  - ここでは (1) どのように (2) なにを示した（主張した）のかが分かるように
+    - (1) データセット・タスク・評価指標
+    - (2) 結果としてどうなったか
+
+その他、強化学習理論において一般的な定理があればそれについても言及されているとよい
+
+- 定理の主張 (optional)
+- 定理の証明方法 (optional)
+
+### 次に読むべき論文
+これも必須ではないが関連する論文があれば記述
+
+### 主観部分
+
+- **コメントを書いたアカウント名** (required)
+- **点数** (required):（必読に値するかを1から10段階評価で）
+- フリーコメント (optional): （主張が素直に受け入れられない点や、考えられる改善点、感銘を受けた点など）

init.sh

@@ -0,0 +1,15 @@
+#!/bin/sh
+
+echo "title:"
+read TITLE
+
+MD_FILE=papers/$TITLE.md
+
+cat template.md | while read line
+do
+  if [ `echo "$line" | grep 'TITLE'` ]; then
+    echo "# "${TITLE} >> $MD_FILE
+  else
+    echo "$line" >> $MD_FILE
+  fi
+done

papers/[EXAMPLE-short] PGQ: Combining policy gradient and Q-learning.md

@@ -0,0 +1,43 @@
+# PGQ: Combining policy gradient and Q-learning
+
+<img src='../tmb/PGQ: Combining policy gradient and Q-learning.png' width=750px />
+
+- 論文リンク: https://arxiv.org/abs/1611.01626
+- 出版年: 2017
+<!-- - ジャーナル・カンファレンス: -->
+<!-- - 著者: -->
+<!-- - 所属: -->
+<!--
+- 関連リンク:
+  -
+-->
+<!--
+- タグ:
+  - 
+-->
+
+## まとめ
+
+#### 概要
+エントロピー正則化付きの方策勾配法とQ学習を組み合わせた新しいアルゴリズムPGQを提案し、DQNやA3Cに対する優位性をAtariドメインで実験的に示した。
+Atariの50以上のゲームにおいて、DQNとA3Cと比較したとき3アルゴリズム中PGQが最下位になったのは1つのゲームだけという高い性能を示した。
+
+<!-- #### 目的 -->
+
+<!-- #### 貢献（新規性・差分） -->
+
+<!-- #### 手法 -->
+
+<!-- #### 結果 -->
+
+<!-- ##### 1. Atariドメインでの評価 -->
+
+<!-- #### 定理・証明していること（汎用的で重要なものであれば） -->
+
+<!-- ## 次に読むべき論文 -->
+
+## コメント
+
+#### @sotetsuk: 8/10
+- 方策勾配法はナイーブな定式化では探索をすることができずに方策が決定論的になりがちだが、探索を促すエントロピー正則化を使った方策勾配法がある意味でより自然な定式化かもしれない、という示唆とも捉えることができて面白い。
+- Eq.4からπとVだけを使って（妥当な）Qを計算しているのがPGQのポイントだと思った。

papers/[EXAMPLE] PGQ: Combining policy gradient and Q-learning.md

@@ -0,0 +1,49 @@
+# PGQ: Combining policy gradient and Q-learning
+
+<img src='../tmb/PGQ: Combining policy gradient and Q-learning.png' width=750px />
+
+- 論文リンク: https://arxiv.org/abs/1611.01626
+- 出版年: 2017
+- ジャーナル・カンファレンス: ICLR
+- 著者: Brendan O'Donoghue, Remi Munos, Koray Kavukcuoglu, Volodymyr Mnih
+- 所属: DeepMind
+- 関連リンク:
+  - [openreview](https://openreview.net/forum?id=B1kJ6H9ex)
+- タグ:
+  - :q-learning:
+  - :policy gradient:
+  - :atari:
+  - :neural network:
+
+## まとめ
+
+#### 概要
+エントロピー正則化付きの方策勾配法とQ学習を組み合わせた新しいアルゴリズムPGQを提案し、DQNやA3Cに対する優位性をAtariドメインで実験的に示した。
+
+#### 目的
+方策勾配法は方策オン型で経験再生を使えずサンプル効率が悪いため、Q学習（方策オフ型）と組み合わせてこれを解決したい。
+
+#### 貢献（新規性・差分）
+1. エントロピー正則化付きの方策勾配法の推定している方策πが、πに基づくアドバンテージ関数Aによって表せることを示した (Sec.3.1, 3.2, Eq.4)
+2. 上記の関係を用いてPGQを提案・評価した (Sec.4., 5.)
+3. Actor-critic法 (e.g., ベースライン付きの方策勾配法) の更新則と行動価値ベースの手法（e.g., SARSA, Q学習）の更新則が（特殊な場合に）等価であることを示した (Sec. 3.3)
+
+#### 手法
+PGQはまず、エントロピー正則化付きの方策勾配法で推定しているπと、この方策に基づくアドバンテージAの関係 (Eq.4) を使って、方策勾配法の推定しているπとVから、πに基づくQを計算する。このQがベルマン最適方程式に従うよう正則化をかけた方策勾配法の目的関数を最適化する。この正則加項部分の最適化をQ学習と同じく経験再生を使って行う。
+
+#### 結果
+
+##### 1. Atariドメインでの評価
+Atariの50以上のゲームにおいて、得られた報酬に基づくスコアによる評価を行い、DQNとA3Cと比較を行った。
+50以上のゲームにおける平均スコアだけでなくスコアの中央値でも人間のスコアを上回り、PGQとDQNとA3Cの3アルゴリズム中最下位になったのは1つのゲームだけだった。
+
+<!-- #### 定理・証明していること（汎用的で重要なものであれば） -->
+
+## 次に読むべき論文
+- Nachum et al. (2017) [Bridging the Gap Between Value and Policy Based Reinforcement Learning](https://arxiv.org/abs/1702.08892)
+
+## コメント
+
+#### @sotetsuk: 8/10
+- 方策勾配法はナイーブな定式化では探索をすることができずに方策が決定論的になりがちだが、探索を促すエントロピー正則化を使った方策勾配法がある意味でより自然な定式化かもしれない、という示唆とも捉えることができて面白い。
+- Eq.4からπとVだけを使って（妥当な）Qを計算しているのがPGQのポイントだと思った。

template.md

@@ -0,0 +1,138 @@
+TITLE
+
+<!-----------------------------------------------------------------
+# サムネイル
+------------------------------------------------------------------->
+<!-- <img src='../tmb/template.png' width=750px /> -->
+
+
+<!-----------------------------------------------------------------
+# 関連情報記述欄
+
+論文リンク・出版年以外はoptional
+
+-------
+EXAMPLE
+-------
+
+- 論文リンク: https://arxiv.org/abs/1611.01626
+- 出版年: 2017
+- ジャーナル・カンファレンス: ICLR
+- 著者: Brendan O'Donoghue, Remi Munos, Koray Kavukcuoglu, Volodymyr Mnih
+- 所属: DeepMind
+- 関連リンク:
+  - [openreview](https://openreview.net/forum?id=B1kJ6H9ex)
+- タグ:
+  - :q-learning:
+  - :policy gradient:
+  - :atari:
+  - :neural network:
+------------------------------------------------------------------->
+- 論文リンク: 
+- 出版年: 
+<!-- - ジャーナル・カンファレンス: -->
+<!-- - 著者: -->
+<!-- - 所属: -->
+<!--
+- 関連リンク:
+  -
+-->
+<!--
+- タグ:
+  -
+-->
+
+
+<!-----------------------------------------------------------------
+# 論文内容まとめ記述欄
+
+概要以外はoptional
+
+-------
+EXAMPLE
+-------
+
+#### 概要
+エントロピー正則化付きの方策勾配法とQ学習を組み合わせた新しいアルゴリズムPGQを提案し、DQNやA3Cに対する優位性をAtariドメインで実験的に示した。
+
+#### 目的
+方策勾配法は方策オン型で経験再生を使えずサンプル効率が悪いため、Q学習（方策オフ型）と組み合わせてこれを解決したい。
+
+#### 貢献（新規性・差分）
+1. エントロピー正則化付きの方策勾配法の推定している方策πが、πに基づくアドバンテージ関数Aによって表せることを示した (Sec.3.1, 3.2, Eq.4)
+2. 上記の関係を用いてPGQを提案・評価した (Sec.4., 5.)
+3. Actor-critic法 (e.g., ベースライン付きの方策勾配法) の更新則と行動価値ベースの手法（e.g., SARSA, Q学習）の更新則が（特殊な場合に）等価であることを示した (Sec. 3.3)
+
+#### 手法
+PGQはまず、エントロピー正則化付きの方策勾配法で推定しているπと、この方策に基づくアドバンテージAの関係 (Eq.4) を使って、方策勾配法の推定しているπとVから、πに基づくQを計算する。このQがベルマン最適方程式に従うよう正則化をかけた方策勾配法の目的関数を最適化する。この正則加項部分の最適化をQ学習と同じく経験再生を使って行う。
+
+#### 結果
+
+##### 1. Atariドメインでの評価
+Atariの50以上のゲームにおいて、得られた報酬に基づくスコアによる評価を行い、DQNとA3Cと比較を行った。
+50以上のゲームにおける平均スコアだけでなくスコアの中央値でも人間のスコアを上回り、PGQとDQNとA3Cの3アルゴリズム中最下位になったのは1つのゲームだけだった。
+----------------------------------------------------------------->
+## まとめ
+
+#### 概要
+
+
+<!-- #### 目的 -->
+
+<!-- #### 貢献（新規性・差分） -->
+
+<!-- #### 手法 -->
+
+<!--
+#### 結果
+
+##### 1.
+
+##### 2.
+-->
+
+<!-- #### 定理・証明していること（汎用的で重要なものであれば） -->
+
+<!--
+## 次に読むべき論文
+-
+-->
+
+
+<!-----------------------------------------------------------------
+# コメント欄
+
+コメントの他に
+- コメント記述者: @XXX
+- 点数: X/10（論文が必読に値するかどうかを10点満点で書く）
+を書く。
+
+コメントは記述者・点数が分かればあとはフォーマットは自由
+返信なども可（例: そうかもしれないですね by @XXX）
+
+-------
+EXAMPLE
+-------
+
+#### @sotetsuk: 8/10
+- 方策勾配法はナイーブな定式化では探索をすることができずに方策が決定論的になりがちだが、探索を促すエントロピー正則化を使った方策勾配法がある意味でより自然な定式化かもしれない、という示唆とも捉えることができて面白い。
+- Eq.4からπとVだけを使って（妥当な）Qを計算しているのがPGQのポイントだと思った。
+  - そうかもしれないですね by @XXX
+----------------------------------------------------------------->
+## コメント
+
+<!-- 1人目 -->
+#### @XXX: X/10
+-
+
+<!-- 2人目 -->
+<!--
+#### @XXX: X/10
+-
+-->
+
+<!-- 3人目 -->
+<!--
+#### @XXX: X/10
+-
+-->