vault backup: 2025-01-23 18:59:30

Affected files:
Other/例题/九州過去問/R02-B-問1.md
Other/例题/九州過去問/R02-B-問2.md
Other/例题/九州過去問/R02-C-問1.md
Other/例题/九州過去問/R02-C-問2.md
Other/例题/九州過去問/R02infait.md
Other/例题/九州過去問/R03ist.md
Other/例题/九州過去問/R04-C-問1.md
Other/例题/九州過去問/R04-数学-向量分析.md
Other/例题/九州過去問/R04ist.md
Other/例题/九州過去問/R05-B-問1.md
Other/例题/九州過去問/R05ist.md
Other/例题/九州過去問/R06-B-問1.md
Other/例题/九州過去問/R06-B-問2.md
Other/例题/九州過去問/R06-C-問1.md
Other/例题/九州過去問/R06-C-問2.md
Other/例题/九州過去問/R06-数学-向量分析.md
Other/例题/九州過去問/R06-数学-微积分.md
Other/例题/九州過去問/R06-数学-概率统计.md
Other/例题/九州過去問/R06-数学-线性代数.md
Other/例题/九州過去問/R06ist.md
Other/例题/例题-分部积分法.md
Other/例题/齐次微分方程例题.md
Other/初等数学/函数.md
Other/初等数学/映射.md
Other/可加性.md
Other/复分析/--复分析--.md
Other/复分析/傅里叶变换.md
Other/复分析/复对数函数.md
Other/复分析/复数域的完备性.md
Other/复分析/复数表示为极坐标形式.md
Other/复分析/奇点.md
Other/复分析/极点.md
Other/复分析/极点计算示例.md
Other/复分析/留数.md
Other/复分析/留数定理.md
Other/抽象代数/加法封闭性.md
Other/说明/Markdown数学公式.md
_assert_/Template/template-复分析.md
_assert_/todo/20240630164587.md
_assert_/todo/202411260158.md
微积分/导数/高阶导数.md
微积分/曲线曲面积分/向量场的曲面积分.md
微积分/极限/无穷.md
微积分/极限/映射与函数.md
微积分/极限/极限.md
微积分/极限/极限运算法则.md
微积分/极限/级数收敛.md
微积分/积分/常见积分形式处理.md
微积分/积分/高斯积分.md
微积分/级数/函数项级数.md
概率论/参数估计/似然函数.md
概率论/随机变量函数/矩生成函数.md
线性代数/相似变换/二次型.md
线性代数/相似变换/特征值.md
线性代数/线性空间/线性.md

Other/例题/九州過去問/R02-B-問2.md

@@ -0,0 +1,168 @@
+---
+tags:
+  - 信息论
+  - 例题
+datetime: 2024-12-02 10:31:38
+---
+# 题目
+设 $X$ 和 $Y$ 为取值在 $\{0, 1\}$ 中的随机变量。对于参数 $\alpha, \beta, \gamma \in [0, 1]$，定义概率如下：
+- $P(X = 0) = \alpha$
+- $P(X = 1) = 1 - \alpha$
+- $P(Y = 0 | X = 0) = \beta$
+- $P(Y = 1 | X = 0) = 1 - \beta$
+- $P(Y = 0 | X = 1) = \gamma$
+- $P(Y = 1 | X = 1) = 1 - \gamma$
+定义二进制熵函数 $h(p)$ 如下：
+$$
+h(p) = \begin{cases} 
+-p \log p - (1-p) \log (1-p), & \text{如果 } 0 < p < 1 \\
+0, & \text{如果 } p = 0 \text{ 或 } p = 1
+\end{cases}
+$$
+## 问题
+1. 使用二进制熵函数表达条件熵 $H(Y | X)$。
+2. 若 $\beta = 1 - \gamma$，求使相互信息量 $I(X; Y)$ 最大化的 $\alpha$ 值，并用二进制熵函数及 $\alpha, \beta$ 表达 $I(X; Y)$ 的最大值。
+3. 固定 $\alpha, \beta$ 的值（$0 < \alpha < 1$），求使相互信息量 $I(X; Y)$ 最小化的 $\gamma$ 值，并表示该最小值。
+4. 固定 $\alpha, \beta$ 的值（$0 < \alpha < 1, \beta > \frac{1}{2}$），求使相互信息量 $I(X; Y)$ 最大化的 $\gamma$ 值。
+---
+# GPT-4o
+### 解答
+### 1. 使用二进制熵函数表达条件熵 $H(Y | X)$
+条件熵 $H(Y | X)$ 表达了在给定 $X$ 的情况下，随机变量 $Y$ 的不确定性。根据题目中的概率定义，我们可以写出：
+$$
+H(Y | X) = \sum_{x \in \{0, 1\}} P(X = x) H(Y | X = x)
+$$
+根据条件概率的定义，我们知道：
+- 当 $X = 0$ 时，$P(Y = 0 | X = 0) = \beta$ 和 $P(Y = 1 | X = 0) = 1 - \beta$；
+- 当 $X = 1$ 时，$P(Y = 0 | X = 1) = \gamma$ 和 $P(Y = 1 | X = 1) = 1 - \gamma$。
+因此，对于每个条件，$Y$ 的熵分别为：
+$$
+H(Y | X = 0) = h(\beta), \quad H(Y | X = 1) = h(\gamma)
+$$
+其中，二进制熵函数 $h(p)$ 定义为：
+$$
+h(p) = -p \log p - (1-p) \log (1-p) \quad \text{(如果 } 0 < p < 1\text{)}
+$$
+因此，条件熵 $H(Y | X)$ 为：
+$$
+H(Y | X) = \alpha h(\beta) + (1 - \alpha) h(\gamma)
+$$
+其中，$\alpha$ 是 $P(X = 0)$，而 $1 - \alpha$ 是 $P(X = 1)$。
+### 2. 若 $\beta = 1 - \gamma$，求使相互信息量 $I(X; Y)$ 最大化的 $\alpha$ 值，并用二进制熵函数及 $\alpha, \beta$ 表达 $I(X; Y)$ 的最大值
+相互信息量 $I(X; Y)$ 定义为：
+$$
+I(X; Y) = H(Y) - H(Y | X)
+$$
+其中，$H(Y | X)$ 是条件熵，已在第一部分给出：
+$$
+H(Y | X) = \alpha h(\beta) + (1 - \alpha) h(\gamma)
+$$
+而 $H(Y)$ 是 $Y$ 的熵，它可以通过求解 $P(Y = 0)$ 和 $P(Y = 1)$ 来得到。我们首先计算 $P(Y = 0)$ 和 $P(Y = 1)$：
+$$
+P(Y = 0) = P(Y = 0 | X = 0) P(X = 0) + P(Y = 0 | X = 1) P(X = 1) = \alpha \beta + (1 - \alpha) \gamma
+$$
+$$
+P(Y = 1) = P(Y = 1 | X = 0) P(X = 0) + P(Y = 1 | X = 1) P(X = 1) = \alpha (1 - \beta) + (1 - \alpha)(1 - \gamma)
+$$
+因此，$H(Y)$ 为：
+$$
+H(Y) = h(\alpha \beta + (1 - \alpha) \gamma)
+$$
+结合 $H(Y | X)$，我们得到相互信息量 $I(X; Y)$ 为：
+$$
+I(X; Y) = h(\alpha \beta + (1 - \alpha) \gamma) - [ \alpha h(\beta) + (1 - \alpha) h(\gamma) ]
+$$
+现在，要求 $I(X; Y)$ 最大化。题目中给定了 $\beta = 1 - \gamma$，因此我们可以将其代入并进行求解。为了最大化 $I(X; Y)$，我们需要找到使 $h(p)$ 最大的 $p$，而二进制熵函数 $h(p)$ 在 $p = 0.5$ 时最大。所以，要求：
+$$
+\alpha \beta + (1 - \alpha) \gamma = 0.5
+$$
+将 $\beta = 1 - \gamma$ 代入，得到：
+$$
+\alpha (1 - \gamma) + (1 - \alpha) \gamma = 0.5
+$$
+解这个方程，得到 $\alpha$ 的最优值。通过整理：
+$$
+\alpha - \alpha \gamma + (1 - \alpha) \gamma = 0.5
+$$
+$$
+\alpha - \alpha \gamma + \gamma - \alpha \gamma = 0.5
+$$
+$$
+\alpha + \gamma(1 - 2\alpha) = 0.5
+$$
+这给出的是关于 $\alpha$ 和 $\gamma$ 的关系。为了进一步分析，可以根据具体的 $\gamma$ 值来求解 $\alpha$。
+
+---
+### 3. 固定 $\alpha, \beta$，使 $I(X; Y)$ 最小化
+### 问题 3：固定 $\alpha, \beta$，求使 $I(X; Y)$ 最小化的 $\gamma$
+我们从相互信息的定义出发：
+$$
+I(X; Y) = H(Y) - H(Y|X),
+$$
+其中：
+$$
+H(Y|X) = \alpha h(\beta) + (1-\alpha) h(\gamma).
+$$
+边缘熵 $H(Y)$ 计算如下：
+$$
+P(Y=0) = \alpha \beta + (1-\alpha) \gamma, \quad P(Y=1) = 1 - P(Y=0),
+$$
+$$
+H(Y) = h(P(Y=0)) = h(\alpha \beta + (1-\alpha) \gamma).
+$$
+因此，相互信息为：
+$$
+I(X; Y) = h(\alpha \beta + (1-\alpha) \gamma) - \left[\alpha h(\beta) + (1-\alpha) h(\gamma)\right].
+$$
+#### 条件 1：最小化 $I(X; Y)$
+要使 $I(X; Y)$ 最小化，可以通过调整 $\gamma$ 来让 $H(Y) - H(Y|X)$ 的差最小。
+- 当 $\gamma = \beta$ 时：
+  $$
+  P(Y=0) = \alpha \beta + (1-\alpha)\beta = \beta.
+  $$
+  此时：
+  $$
+  H(Y) = h(\beta), \quad H(Y|X) = \alpha h(\beta) + (1-\alpha) h(\beta) = h(\beta).
+  $$
+  相互信息：
+  $$
+  I(X; Y) = h(\beta) - h(\beta) = 0.
+  $$
+#### 结论：
+当 $\gamma = \beta$ 时，相互信息 $I(X; Y)$ 取得最小值，且最小值为：
+$$
+I(X; Y) = 0.
+$$
+---
+### 4. 固定 $\alpha, \beta$，使 $I(X; Y)$ 最大化的 $\gamma$
+相互信息最大化的关键是调整 $\gamma$ 使 $H(Y) - H(Y|X)$ 的差最大化。为此，我们需要最大化 $H(Y)$ 并最小化 $H(Y|X)$。
+#### 条件 1：最小化 $H(Y|X)$
+$$
+H(Y|X) = \alpha h(\beta) + (1-\alpha) h(\gamma).
+$$
+$\gamma$ 应选择使 $h(\gamma)$ 最小，即：
+$$
+\gamma = 0 \quad \text{或} \quad \gamma = 1.
+$$
+此时 $h(\gamma) = 0$，有：
+$$
+H(Y|X) = \alpha h(\beta).
+$$
+#### 条件 2：最大化 $H(Y)$
+当 $\gamma = 0$ 或 $\gamma = 1$ 时：
+$$
+P(Y=0) = \alpha \beta + (1-\alpha)\gamma.
+$$
+- 若 $\gamma = 0$，则 $P(Y=0) = \alpha \beta$。
+- 若 $\gamma = 1$，则 $P(Y=0) = \alpha \beta + (1-\alpha) = \alpha (\beta - 1) + 1$。
+我们选择 $\gamma$ 使 $P(Y=0)$ 接近 0.5，从而使 $H(Y)$ 最大化。
+---
+#### 结论：
+- 固定 $\alpha, \beta$，若 $\beta > \frac{1}{2}$，使 $I(X; Y)$ 最大化的 $\gamma$ 为：
+  $$
+  \gamma = 0.
+  $$
+  最大相互信息量为：
+  $$
+  I(X; Y) = h(\alpha \beta) - \alpha h(\beta).
+  $$