ex_02_21-30.org

PRML 第2章 演習 2.21-2.30

PRML 第2章 演習 2.21-2.30

2.21 \(D×D\)の実対称行列の独立なパラメータの数

2.22 [www] 対称行列の逆行列も対称であることの証明

2.23 マハラノビス距離が定数になる超楕円体の内部の体積

2.24 [www] 分割された行列の逆行列に関する公式の証明

(2.76)の右辺に\( \l(\begin{array}{cc} A & B
C & D \ \end{array}\r) \)を掛ける。

\begin{align*} X = & \l(\begin{array}{cc} A & B
C & D \ \end{array}\r) \l(\begin{array}{cc} M & -MBD^-1 \ -D^-1CM & D^-1 + D^-1CMBD^-1 \ \end{array}\r) \ = & \l(\begin{array}{cc} AM - BD^-1CM & -AMBD^-1 + B(D^-1 + D^-1CMBD^-1) \ CM - DD^-1CM & -CMBD^-1 + D(D^-1 + D^-1CMBD^-1) \ \end{array}\r) \end{align*}

\begin{align*} X₁₁ = & AM - BD^-1CM
= & (A - BD^-1C)M \ = & (A - BD^-1C)(A - BD^-1C)^-1 \ = & I \ \end{align*}

\begin{align*} X₁₂ = & -AMBD^-1 + B(D^-1 + D^-1CMBD^-1)
= & -AMBD^-1 + BD^-1 + BD^-1CMBD^-1 \ = & -(A - BD^-1C)MBD^-1 + BD^-1 \ = & -(A - BD^-1C)(A - BD^-1C)^-1BD^-1 + BD^-1 \ = & -BD^-1 + BD^-1 \ = & O \ \end{align*}

\begin{align*} X₂₁ = & CM - DD^-1CM
= & O \ \end{align*}

\begin{align*} X₂₂ = & -CMBD^-1 + D(D^-1 + D^-1CMBD^-1)
= & -CMBD^-1 + I + CMBD^-1 \ = & I \ \end{align*}

2.25 多変量ガウス分布の変数集合を3分割したときの周辺化された条件付き分布

2.26 Woodbury行列反転公式の証明

2.27 2つの独立な確率ベクトルの和の平均が、個別の平均の和となることの証明

2.28 [www] 2分割された平均ベクトルと共分散行列から周辺分布と条件付き分布を求める

2.29 精度行列(2.104)の逆行列が共分散行列(2.105)になることの証明

分割行列の逆行列の公式 \begin{align*} \l(\begin{array}{cc} A & B
C & D \ \end{array}\r)^-1 = \l(\begin{array}{cc} M & -MBD^-1 \ -D^-1CM & D^-1 + CMBD^-1 \ \end{array}\r)^-1 \end{align*} ただし \begin{align*} M = (A - BD^-1C)^-1 \end{align*} (2.104) \begin{align*} R = \l(\begin{array}{cc} Λ + A^TLA & -A^TL \ -LA & L \ \end{array}\r)^-1 \end{align*}

\begin{align*} (R^-1)₁₁ = & M
= & (Λ + A^TLA - (-A^TL)L^-1(-LA))^-1 \ = & (Λ + A^TLA - A^TLL^-1LA)^-1 \ = & (Λ + A^TLA - A^TLA)^-1 \ = & Λ^-1 \ \end{align*}

\begin{align*} (R^-1)₁₂ = & -MBD^-1
= & -(Λ^-1)(-A^TL)(L)^-1 \ = & Λ^-1A^TLL^-1 \ = & Λ^-1A^T \ \end{align*}

\begin{align*} (R^-1)₂₁ = & -D^-1CM
= & -(L)^-1(-LA)(Λ^-1) \ = & L^-1LAΛ^-1 \ = & AΛ^-1 \ \end{align*}

\begin{align*} (R^-1)₂₂ = & D^-1 + CMBD^-1
= & (L)^-1 + (-LA)(Λ^-1)(-A^TL)(L)^-1 \ = & L^-1 + LAΛ^-1A^TLL^-1 \ = & L^-1 + LAΛ^-1A^T \ \end{align*}

2.30 ガウス分布の同時分布の平均値

(2.107) \begin{align*} E[z] = R^-1 \l( \begin{array}{c} Λμ - A^TLb
Lb \ \end{array} \r) \end{align*} (2.105) \begin{align*} R^-1 = \l( \begin{array}{cc} Λ^-1 & Λ^-1A^T \ AΛ^-1 & L^-1 + AΛ^-1A^T \ \end{array} \r) \end{align*}

\begin{align*} E[z]_1 = & Λ^-1(Λμ - A^TLb) + Λ^-1A^TLb
= & Λ^-1Λμ - Λ^-1A^TLb + Λ^-1A^TLb \ = & μ \ \end{align*}

\begin{align*} E[z]_2 = & AΛ^-1(Λμ - A^TLb) + (L^-1 + AΛ^-1A^T)Lb
= & AΛ^-1Λμ - AΛ^-1A^TLb + L^-1Lb + AΛ^-1A^TLb \ = & Aμ - AΛ^-1A^TLb + b + AΛ^-1A^TLb \ = & Aμ+ b \ \end{align*}