卷积(傅里叶变换)

卷积是通过两个函数$f$和$g$生成第三个函数的一种数学算子，表征函数$f$与$g$经过翻转和平移的重叠部分函数值乘积对重叠长度的积分。即$(f*g)(n)$为$f,g$的卷积

连续 $$(f * g)(n)=\int_{-\infty}^{\infty} f(\tau) g(n-\tau) d \tau$$ 离散 $$(f * g)(n)=\sum_{\tau=-\infty}^{\infty} f(\tau) g(n-\tau)$$

局部连接每个神经元不再和上一层的所有神经元相连，而只和一小部分神经元相连。这样就减少了很多参数。
权值共享一组连接可以共享同一个权重，而不是每个连接有一个不同的权重，这样又减少了很多参数。

输入输出尺寸计算

先定义几个参数 $I：输入尺寸；P：填充大小；K：卷积核大小；S：卷积步长；O：输出尺寸；C_{in}：输入通道；C_{out}：输出通道；b：偏置$

$$O=\frac{I+2P-K}{S}+1$$

参数量

$$K\times K \times C_{in} \times C_{out}+b$$

FLOPs

$$(2 \times C_{in} \times K^{2}+1) \times O \times O \times C_{out}$$

注：一个 MAC(乘加操作) 算2个操作；考虑 bias时要加一，反之亦然

膨胀卷积(空洞卷积)

Deep CNN存在一些主要的问题：

上采样和池化层存在一些知名的问题（Hinton在演讲中提出）
内部数据结构丢失，空间层级化信息丢失
小物体无法重建

与普通的卷积相比，多了一个膨胀率(dilation rate)参数，主要用来表示膨胀的大小。膨胀卷积与普通卷积的相同点在于，卷积核的大小是一样的，在神经网络中即参数数量不变，区别在于膨胀卷积具有更大的感受野。膨胀后的卷积核尺寸 $$r \times (k-1)+1$$

感受野

在卷积神经网络中，感受野 (receptive field)的定义是：卷积神经网络每一层输出的特征图（feature map）上的像素点在原始图像上映射的区域大小。

感受野计算

$$N_RF = (N_{pre}_RF - 1) \times stride + kernel_size$$

问题

Dilated Convolution的kernel并不连续，也就是并不是所有的像素都用来计算了，因此这里将信息看作checker-board的方式将会损失信息的连续性。(即栅格效应，膨胀卷积不能覆盖所有的图像特征，如下图所示）
Dilated Convolution的设计更像是用于获取long-range information，这样或许对一些大物体有较好的分隔效果，而对于小物体来说可能是有弊无利了。如何同时处理好大小物体的关系，则是设计好dilated convolution网络的关键。

反卷积(转置卷积)

主要用于上采样恢复图像尺寸

反卷积是一种特殊的正向卷积，先按照一定的比例通过补 0 来扩大输入图像的尺寸，接着旋转卷积核，再进行正向卷积。

$$\begin{aligned} 假设输入为X,卷积为C,输出为Y,那么：& Y=CX\\ 则反卷积为：& X=C^TY \end{aligned} $$

注：这里是$C^T$,而不是$C^{-1}$，是因为$X$已经不是原来的$X$，用$C^T$只是为了恢复原来的尺寸

输出尺寸：

$$O=S(I-1)+2 P-K+2$$

问题

反卷积不能恢复数值，而且，在当步长大于2时，即便使用完全相同的参数进行转置卷积，输入的尺寸也不能恢复。

深度可分离卷积

一些轻量级的网络，如Mobilenet中，会有深度可分离卷积depthwise separable convolution，由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征，相比常规的卷积操作，其参数数量和运算成本比较低；深度可分离卷积本质上通过对不同通道使用同一种权重,然后再使用$1\times1$普通卷积来降低计算量。

贴上大佬的图，一目了然

Common Convolution

参数量为:$3 \times 3 \times 3 \times 4=108$

Depthwise Convolution

参数量为:$3 \times 3 \times3=27$

Pointwise Convolution

参数量为:$3 \times 1 \times 1 \times 4=12$

下采样(池化)

池化层利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息。通过去掉特征图中不重要的样本，进一步减少参数数量。缓解过拟合，保持一定程度的旋转和平移不变性。

最大池化(用的最多)

前向传播

取卷积核之内元素的最大值作为输出(传的时候要记录最大值的位置)

反向传播

只有记录最大值下标的那个位置有梯度，其他位置的梯度为0

均值池化(基本不用)

前向传播

取卷积核之内元素的均值作为输出

反向传播

把某个元素的梯度等分为$n \times n$份(假设卷积核为$n \times n$)分配给前一层，这样就保证池化前后的梯度（残差）之和保持不变

全局平均池化(GAP)

为了解决分类任务中最后全连接层计算量大,容易过拟合而提出来的池化函数；取每个特征层的均值作为结果

上采样(针对要还原图像尺寸网络)

双线性插值

反卷积(参考上面)

全连接层(针对分类网络)

把卷积层得到的特征，平铺层一个向量，然后使用softmax函数得到最后的结果

问题

计算量大
容易过拟合

Dropout

训练过程中随机的丢弃一些节点(使其不会太依赖某些局部的特征),以此来防止过拟合

参考大佬的帖子

训练过程

首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变
在没有被删除的神经元上按照反向传播更新对应的参数(w，b)。
恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）
重复1-3

计算公式: $$ \begin{aligned} r_{j}^{(l)} & \sim \operatorname{Bernoulli}(p) \ \widetilde{\mathbf{y}}^{(l)} &=\mathbf{r}^{(l)} * \mathbf{y}^{(l)} \ z_{i}^{(l+1)} &=\mathbf{w}{i}^{(l+1)} \widetilde{\mathbf{y}}^{l}+b{i}^{(l+1)} \ y_{i}^{(l+1)} &=f\left(z_{i}^{(l+1)}\right) \end{aligned} $$ 其中Bernoulli函数是为了生成概率r向量，也就是随机生成一个0、1的向量。

注意：经过上面屏蔽掉某些神经元，使其激活值为0以后，我们还需要对结果向量进行缩放，也就是乘以1/(1-p)。如果你在训练的时候，经过置0后，没有对结果进行缩放（rescale），那么在测试的时候，就需要对权重进行缩放

测试过程

预测模型的时候，每一个神经单元的权重参数要乘以概率p

取平均的作用：先回到标准的模型即没有dropout，我们用相同的训练数据去训练5个不同的神经网络，一般会得到5个不同的结果，此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。例如3个网络判断结果为数字9,那么很有可能真正的结果就是数字9，其它两个网络给出了错误结果。这种“综合起来取平均”的策略通常可以有效防止过拟合问题。因为不同的网络可能产生不同的过拟合，取平均则有可能让一些“相反的”拟合互相抵消。dropout掉不同的隐藏神经元就类似在训练不同的网络，随机删掉一半隐藏神经元导致网络结构已经不同，整个dropout过程就相当于对很多个不同的神经网络取平均。而不同的网络产生不同的过拟合，一些互为“反向”的拟合相互抵消就可以达到整体上减少过拟合。
减少神经元之间复杂的共适应关系：因为dropout程序导致两个神经元不一定每次都在一个dropout网络中出现。这样权值的更新不再依赖于有固定关系的隐含节点的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况。迫使网络去学习更加鲁棒的特征，这些特征在其它的神经元的随机子集中也存在。换句话说假如我们的神经网络是在做出某种预测，它不应该对一些特定的线索片段太过敏感，即使丢失特定的线索，它也应该可以从众多其它线索中学习一些共同的特征。从这个角度看dropout就有点像L1，L2正则，减少权重使得网络对丢失特定神经元连接的鲁棒性提高。
Dropout类似于性别在生物进化中的角色：物种为了生存往往会倾向于适应这种环境，环境突变则会导致物种难以做出及时反应，性别的出现可以繁衍出适应新环境的变种，有效的阻止过拟合，即避免环境改变时物种可能面临的灭绝。

BN

为什么会有这个东西呢?

统计学习中的一个很重要的假设就是输入的分布是相对稳定的。如果这个假设不满足，则模型的收敛会很慢，甚至无法收敛。所以，对于一般的统计学习问题，在训练前将数据进行归一化或者白化

对于神经网络来说，特征是逐层提取的，我们可以对第一层的输入数据做预处理（因为数据是已知的），但经过第一层的运算（这可能导致分布不稳定了），输入到第二层的数据就变了，以至于牵一发而动全身，如果不做处理，那么网络每一层都要不停的适应新的分布，从而导致网络训练变慢。因此我们得想个招让输入每一层的数据的分布是一个稳定的分布，这就是BN要干的事情了

我们知道，在神经网络中，随着网络层数的增加会出现梯度消失，梯度爆炸等问题，那么怎么解决呢？

BN前向传播

求均值 $\mu =\frac{1}{N} \sum_{i=1}^{N} x_{i}$
求方差$\sigma^{2}= \frac{1}{N} \sum_{i=1}^{N}\left(x_{i}-\mu\right)^{2}$
归一化 $\widehat{x}{i} =\frac{x{i}-\mu}{\sqrt{\sigma^{2}+\epsilon}}$,这样输入的均值和方差就固定了，
输出$y_{i} =\gamma \cdot \widehat{x}_{i}+\beta$,作者说归一化让数据失去了原有数据的表达能力，所以引入$\gamma$和$\beta$恢复数据的表达能力

代码

import numpy as np

def batchnorm_forward(x, gamma, beta, bn_param):
    # read some useful parameter
    N, D = x.shape
    eps = bn_param.get('eps', 1e-5)
    momentum = bn_param.get('momentum', 0.9)
    running_mean = bn_param.get('running_mean', np.zeros(D, dtype=x.dtype))
    running_var = bn_param.get('running_var', np.zeros(D, dtype=x.dtype))

    # BN forward pass
    sample_mean = x.mean(axis=0)
    sample_var = x.var(axis=0)
    x_ = (x - sample_mean) / np.sqrt(sample_var + eps)
    out = gamma * x_ + beta

    # update moving average
    running_mean = momentum * running_mean + (1-momentum) * sample_mean
    running_var = momentum * running_var + (1-momentum) * sample_var
    bn_param['running_mean'] = running_mean
    bn_param['running_var'] = running_var

    # storage variables for backward pass
    cache = (x_, gamma, x - sample_mean, sample_var + eps)

    return out, cache

这里引入了三个参数，其中$\epsilon$是为了避免除零，$\gamma$和$\beta$就是是我们的网络要学习的参数

BN反向传播

首先我们假设损失函数为$L$，在反向传播过程中，我们要求的梯度有$\frac{\partial L}{\partial \gamma}, \frac{\partial L}{\partial \beta}, \frac{\partial L}{\partial x_{i}}$ 前两个比较简单 $$ \begin{aligned}{\frac{\partial L}{\partial \gamma}=\sum_{i=1}^{N} \frac{\partial L}{\partial y_{i}} \cdot \widehat{x} i} \ {\frac{\partial L}{\partial \beta}=\sum_{i=1}^{N} \frac{\partial L}{\partial y_{i}}}\end{aligned} $$

对$\frac{\partial L}{\partial x_{i}}$求导比较麻烦，从前向传播的过程中包含$x_{i}$的有三项$\widehat{x}_{i}$,$u$,$\sigma$,所以我们分开来

$$ \frac{\partial L}{\partial x_{i}}=\frac{\partial L}{\partial \widehat{x} i} \cdot \frac{1}{\sqrt{\sigma^{2}+\epsilon}}+\frac{\partial L}{\partial \mu} \cdot \frac{\partial \mu}{\partial x_{i}}+\frac{\partial L}{\partial \sigma^{2}} \cdot \frac{\partial \sigma^{2}}{\partial x_{i}} $$

然后就是分别求 $$\begin{aligned} \frac{\partial L}{\partial \widehat{x}{i}}&=\frac{\partial L}{\partial y{i}} \cdot \gamma\ \frac{\partial L}{\partial \mu}&=\sum_{i=1}^{N} \frac{\partial L}{\partial \widehat{x}{i}} \cdot \frac{-1}{\sqrt{\sigma^{2}+\epsilon}}+\frac{\partial L}{\partial \sigma^{2}} \cdot \frac{\partial \sigma^{2}}{\partial \mu}\ \frac{\partial \sigma^{2}}{\partial \mu}&=-\frac{\sum{i=1}^{N} 2\left(x_{i}-\mu\right)}{N}\ \frac{\partial L}{\partial \sigma^{2}}&=\sum_{i=1}^{N} \frac{\partial L}{\partial \widehat{x}{i}} \cdot\left(x{i}-\mu\right) \cdot \frac{-\left(\sigma^{2}+\epsilon\right)^{-3 / 2}}{2}\ \frac{\partial \mu}{\partial x_{i}}&=\frac{1}{N}\ \frac{\partial \sigma^{2}}{\partial x_{i}} &=\frac{2\left(x_{i}-\mu\right)}{N} \end{aligned}$$

最后 $$ \frac{\partial L}{\partial x_{i}}=\frac{\partial L}{\partial \widehat{x}{i}} \cdot \frac{1}{\sqrt{\sigma^{2}+\epsilon}}+\frac{\partial L}{\partial \mu} \cdot \frac{1}{N}+\frac{\partial L}{\partial \sigma^{2}} \cdot \frac{2\left(x{i}-\mu\right)}{N} $$

不化简的代码

def batchnorm_backward(dout, cache):
  """
  Inputs:
  - dout: 上一层的梯度，维度(N, D)，即 dL/dy
  - cache: 所需的中间变量，来自于前向传播

  Returns a tuple of:
  - dx: (N, D)维的 dL/dx
  - dgamma: (D,)维的dL/dgamma
  - dbeta: (D,)维的dL/dbeta
  """
    x, gamma, beta, x_hat, sample_mean, sample_var, eps = cache
  N = x.shape[0]

  dgamma = np.sum(dout * x_hat, axis = 0)
  dbeta = np.sum(dout, axis = 0)

  dx_hat = dout * gamma
  dsigma = -0.5 * np.sum(dx_hat * (x - sample_mean), axis=0) * np.power(sample_var + eps, -1.5)
  dmu = -np.sum(dx_hat / np.sqrt(sample_var + eps), axis=0) - 2 * dsigma*np.sum(x-sample_mean, axis=0)/ N
  dx = dx_hat /np.sqrt(sample_var + eps) + 2.0 * dsigma * (x - sample_mean) / N + dmu / N

  return dx, dgamma, dbeta

这一步化简没整明白

$$ \frac{\partial L}{\partial x_{i}}=\frac{1}{N \cdot \sqrt{\sigma^{2}+\epsilon}}\left[N \frac{\partial L}{\partial \hat{x}{i}}-\sum{j=1}^{N} \frac{\partial L}{\partial \widehat{x} j}-\widehat{x}{i} \sum{j=1}^{N} \frac{\partial L}{\partial \widehat{x}{j}} \cdot \widehat{x}{j}\right] $$

化简之后的代码

import numpy as np
def batchnorm_backward(dout, cache):
    # extract variables
    N, D = dout.shape
    x_, gamma, x_minus_mean, var_plus_eps = cache

    # calculate gradients
    dgamma = np.sum(x_ * dout, axis=0)
    dbeta = np.sum(dout, axis=0)

    dx_ = np.matmul(np.ones((N,1)), gamma.reshape((1, -1))) * dout
    dx = N * dx_ - np.sum(dx_, axis=0) - x_ * np.sum(dx_ * x_, axis=0)
    dx *= (1.0/N) / np.sqrt(var_plus_eps)

    return dx, dgamma, dbeta

优点

加快训练速度
加快收敛速度
降低了对初始化的要求（因为梯度大部分时间都在敏感区）
可以去除dropout（虽然没有证据）

缺点

吃内存

测试怎么用

因为我们测试数据的时候可能没有训练样本那么多，有时候我们可能会一个一个的测，这就导致训练和测试的均值方差不是一样的。既然不一样，那我们就做一下无偏估计

$$ \begin{aligned} \mu_{\text {test}} &=\mathbb{E}\left(\mu_{\text {batch}}\right) \ \sigma_{\text {test}}^{2} &=\frac{m}{m-1} \mathbb{E}\left(\sigma_{\text {batch}}^{2}\right) \ B N\left(X_{\text {test}}\right) &=\gamma \cdot \frac{X_{\text {test}}-\mu_{\text {test}}}{\sqrt{\sigma_{\text {test}}^{2}+\epsilon}}+\beta \end{aligned} $$

常见问题

CNN和传统的全连接神经网络有什么区别？

参数共享，连接稀疏

为什么参数稀疏会好？有什么数学原理么？

规则化符合奥卡姆剃刀(Occam's razor)原理。不过它的思想很平易近人：在所有可能选择的模型中，我们应该选择能够很好地解释已知数据并且十分简单的模型。

为什么不用偶数卷积

一是padding的原因，如果f是奇数，就可以从图像的两边对称的padding。
第二点是奇数的f 有central pixel 可以方便的确定position.

Files

基本模块.md

Latest commit

History