Skip to content

Latest commit

 

History

History
124 lines (115 loc) · 6.06 KB

ex_02_31-40.org

File metadata and controls

124 lines (115 loc) · 6.06 KB
Raw

PRML 第2章 演習 2.31-2.40

PRML 第2章 演習 2.31-2.40

2.31

2.38 ガウス分布を事前分布に選んだ場合の事後分布がガウス分布であることの証明

平均\(μ\)が与えられたときに観測値集合\(\xx=\{x_1,…,x_N\}\)が生じる確率である 尤度関数は次のように書ける。 \begin{align*} p(\xx|μ) = & ∏n=1^N p(x_n|μ)
= & ∏n=1^N \f{1}{(2π\sigma^2)1/2} exp \l\{ -\f{1}{2σ^2} (x_n - μ)^2 \r\} \ = & \f{1}{(2π\sigma^2)N/2} exp \l\{ -\f{1}{2σ^2} ∑n=1^N (x_n - μ)^2 \r\} \ \end{align*}

事前分布にガウス分布を選ぶ。 \begin{align*} p(μ) = & N(μ|μ_0,σ_0)
= & \f{1}{(2π\sigma_0^2)1/2} exp \l\{ -\f{1}{2σ_0^2} (μ - μ_0)^2 \r\} \ \end{align*}

事後分布は尤度関数と事前分布の積に比例する。 \begin{align*} p(μ|\xx) \propto & p(\xx|μ) p(μ)
= & \f{1}{(2π\sigma^2)N/2} exp \l\{ -\f{1}{2σ^2} ∑n=1^N (x_n - μ)^2 \r\} \f{1}{(2π\sigma_0^2)N/2} exp \l\{ -\f{1}{2σ_0^2} (μ - μ_0)^2 \r\} \ = & \f{1}{(2π\sigma^2)N/2} \f{1}{(2π\sigma_0^2)N/2} exp \l\{ - \f{1}{2σ^2} ∑n=1^N (x_n - μ)^2

  • \f{1}{2σ_0^2} (μ - μ_0)^2 \r\}

\end{align*}

指数部分を計算すると \begin{align*} & - \f{1}{2 σ^2} ∑n=1^N (x_n - μ)^2

  • \f{1}{2 σ_0^2} (μ - μ_0)^2

= & - \f{1}{2} \l[ \f{1}{σ^2} ∑n=1^N (x_n^2 - 2 x_n μ + μ^2)

  • \f{1}{σ_0^2} (μ^2 - 2 μ μ_0 + μ_0^2) \r]

= & - \f{1}{2} \l[ \l( \f{N}{σ^2} + \f{1}{σ_0^2} \r) μ^2

  • 2 \l( \f{1}{σ^2} ∑n=1^N x_n + \f{1}{σ_0^2} μ_0 \r) μ
  • \l( \f{1}{σ^2} ∑n=1^N x_n^2 + \f{1}{σ_0^2} μ_0^2 \r) \r]

= & - \f{1}{2 σ_N^2} \l[ μ^2

  • 2 σ_N^2 \l( \f{1}{σ^2} ∑n=1^N x_n + \f{1}{σ_0^2} μ_0 \r) μ
  • σ_N^2 \l( \f{1}{σ^2} ∑n=1^N x_n^2 + \f{1}{σ_0^2} μ_0^2 \r) \r]

= & - \f{1}{2 σ_N^2} \l[ \l\{ μ - σ_N^2 \l( \f{1}{σ^2} ∑n=1^N x_n + \f{1}{σ_0^2} μ_0 \r) \r\}^2

  • \l\{ σ_N^2 \l( \f{1}{σ^2} ∑n=1^N x_n + \f{1}{σ_0^2} μ_0 \r) \r\}^2
  • σ_N^2 \l( \f{1}{σ^2} ∑n=1^N x_n^2 + \f{1}{σ_0^2} μ_0^2 \r) \r]

= & - \f{1}{2 σ_N^2} \l[ μ - σ_N^2 \l( \f{1}{σ^2} ∑n=1^N x_n + \f{1}{σ_0^2} μ_0 \r) \r]^2

  • const.

= & - \f{1}{2 σ_N^2} (μ - μ_N)^2 + const.
\end{align*} よって、事後分布はガウス分布\(\N(μ|μ_N,σ_N^2)\)になる。 平均\(μ_N\)、分散\(σ_N^2\)は以下で与えられる。 \begin{align*} \f{1}{σ_N^2} = & \f{1}{σ_0^2} + \f{N}{σ^2} \ \end{align*}

\begin{align*} μ_N = & σ_N^2 \l( \f{1}{σ^2} ∑n=1^N x_n + \f{1}{σ_0^2} μ_0 \r)
= & \l( \f{1}{σ_0^2} + \f{N}{σ^2} \r)-1 \l( \f{N μML}{σ^2} + \f{μ_0}{σ_0^2} \r) \ = & \f{σ_0^2 σ^2}{σ^2 + N σ_0^2} \l( \f{N μML}{σ^2} + \f{μ_0}{σ_0^2} \r) \ = & \f{σ^2}{N σ_0^2 + σ^2} μ_0 + \f{N σ_0^2}{N σ_0^2 + σ^2} μML \ \end{align*}

\begin{align*} μML = & \f{1}{N} ∑n=1^N x_n
\end{align*}

2.39

2.40 共分散が既知の多変量ガウス分布の平均のベイズ推定

平均\(\μ\)が与えられたときに観測値集合\(\X=\{\x_1,…,\x_N\}\)が生じる確率である 尤度関数は次のように書ける。 \begin{align*} p(\X|\μ) = & ∏n=1^N p(\x_n|\μ)
= & ∏n=1^N \f{1}{(2π)D/2|\Σ|1/2} exp\l\{ -\f{1}{2} (\x_n - \μ)^T \Σ-1 (\x_n - \μ) \r\} \ = & \f{1}{(2π)ND/2|\Σ|N/2} exp\l\{ - \f{1}{2} ∑n=1^N (\x_n - \μ)^T \Σ-1 (\x_n - \μ) \r\} \ \end{align*}

平均\(\μ\)の事前分布にガウス分布を選ぶ。 \begin{align*} p(\μ) = & \N(\μ|\μ_0,\Σ_0)
= & \f{1}{(2π)D/2|\Σ_0|1/2} exp\l\{ - \f{1}{2} (\μ - \μ_0)^T \Σ_0-1 (\μ - \μ_0) \r\} \ \end{align*}

事後分布は尤度関数と事前分布の積に比例する。 \begin{align*} p(\μ|\X) \propto & p(\X|\μ) p(\μ)
= & \f{1}{(2π)ND/2|\Σ|N/2} exp\l\{ - \f{1}{2} ∑n=1^N (\x_n - \μ)^T \Σ-1 (\x_n - \μ) \r\} \f{1}{(2π)D/2|\Σ_0|1/2} exp\l\{ - \f{1}{2} (\μ - \μ_0)^T \Σ_0-1 (\μ - \μ_0) \r\} \ = & \f{1}{(2π)ND/2|\Σ|N/2} \f{1}{(2π)D/2|\Σ_0|1/2} exp\l[ - \f{1}{2} \l\{ ∑n=1^N (\x_n - \μ)^T \Σ-1 (\x_n - \μ)

  • (\μ - \μ_0)^T \Σ_0-1 (\μ - \μ_0) \r\} \r]

\end{align*}

指数部分を取り出して計算すると \begin{align*} & - \f{1}{2} \l\{ ∑n=1^N (\x_n - \μ)^T \Σ-1 (\x_n - \μ)

  • (\μ - \μ_0)^T \Σ_0-1 (\μ - \μ_0) \r\}

= & - \f{1}{2} \l\{ ∑n=1^N ( \x_n^T \Σ-1 \x_n - 2 \μ^T \Σ-1 \x_n + \μ^T \Σ-1 \μ )

  • ( \μ^T \Σ-1_0 \μ - 2 \μ^T \Σ-1_0 \μ_0 + \μ_0^T \Σ-1_0 \μ_0 ) \r\}

= & - \f{1}{2} \l\{ \μ^T (N \Σ-1 + \Σ-1_0) \μ

  • 2 \μ^T (\Σ-1 ∑n=1^N \x_n + \Σ-1_0 \μ_0)
  • ∑n=1^N \x_n^T \Σ-1 \x_n + \μ_0^T \Σ-1_0 \μ_0 \r\}

= & - \f{1}{2} \l\{ (\μ - \μ_N)^T \Σ_N-1 (\μ - \μ_N) - \μ_N^T \Σ-1_N \μ_N

  • ∑n=1^N \x_n^T \Σ-1 \x_n + \μ_0^T \Σ-1_0 \μ_0 \r\}

= & - \f{1}{2} (\μ - \μ_N)^T \Σ_N-1 (\μ - \μ_N) + const.
\end{align*} ただし \begin{align*} \Σ_N-1 = & \Σ-1_0 + N \Σ-1 \ \μ_N = & (\Σ-1_0 + N \Σ-1)-1 (\Σ-1 N \μML + \Σ-1_0 \μ_0) \ \μML = & \f{1}{N} ∑n=1^N \x_n \ \end{align*}