前（反）向传播，梯度消失和爆炸，batch normalization

前（反）向传播

在前向传播过程中，每一层神经元都会接收到前一层神经元的输出作为输入，并通过激活函数进行处理，然后将结果传递给下一层神经元。

反向传播是一种在神经网络中计算参数梯度的方法，它是深度学习中的基础算法。该过程从前向传播开始，计算并存储每一层的输出，然后计算损失函数，接着按照相反的顺序计算每一层的梯度，最后使用这些梯度更新网络参数。在单隐藏层简单网络的参数是$W^{(1)}$和$W^{(2)}$。则反向传播的目的是计算梯度$\frac{\partial J}{\partial W^{(1)}}$和 $\frac{\partial J}{\partial W^{(2)}}$。

$$\frac{\partial J}{\partial W^{(2)}}=\frac{\partial J}{\partial o}{h}^{\top }+\lambda W^{(2)}$$

中间值的大小与网络层的数量和批量大小大致成正比，因此，使用更大的批量或更深的网络可能会导致内存不足的问题。也因此，训练比预测需要更多的内存。

梯度消失和爆炸

从数学视角分析梯度消失和爆炸的原因：考虑一个具有L层、输入$x$和输出$o$的深层网络。每一层$l$由变换$f_l$定义，该变换的参数为权重$W^{(l)}$，其隐藏变量是$h^{(l)}$（令$h^{(0)}=x$）。则网络可以表示为：

$$h^{(l)}=f_l(h^{(l-1)})\text{因此}o=f_L\circ \cdots \circ f_1(x).$$

如果所有隐藏变量和输入都是向量，我们可以将$o$关于任何一组参数$W^{(l)}$的梯度写为下式：

∂ W ( l ) ∂ o = ∂ h ( L − 1 ) ∂ h ( L ) ∣ M ( L ) def = … ∂ h ( l ) ∂ h ( l + 1 ) ∣ M ( l + 1 ) def = ∂ W ( l ) ∂ h ( l ) ∣ v ( l ) def = \frac{\partial W^{(l)}}{\partial o} = \frac{\partial h^{(L-1)}}{\partial h^{(L)}} \Bigg|_{\substack{M^{(L)} \\ \text{def} =}} \dots \frac{\partial h^{(l)}}{\partial h^{(l+1)}} \Bigg|_{\substack{M^{(l+1)} \\ \text{def} =}} \frac{\partial W^{(l)}}{\partial h^{(l)}} \Bigg|_{\substack{v^{(l)} \\ \text{def} =}} ∂o∂W(l)​=∂h(L)∂h(L−1)​ ​M(L)def=​​…∂h(l+1)∂h(l)​ ​M(l+1)def=​​∂h(l)∂W(l)​ ​v(l)def=​​

梯度是$L-l$个矩阵$M^{(L)}\cdot \cdots \cdot M^{(l+1)}$与梯度向量$v^{(l)}$的乘积。当将太多的概率乘在一起时，这些问题经常会出现。最初，矩阵$M^{(l)}$可能具有各种各样的特征值。他们可能很小，也可能很大。他们的乘积也可能非常大，也可能非常小。

不稳定梯度也威胁到我们优化算法的稳定性。要么是梯度爆炸问题：参数更新过大，破坏了模型的稳定收敛；要么是梯度消失问题：参数更新过小，在每次更新时几乎不会移动，导致模型无法学习。

BN层：Batch Normalization

在模型训练过程中，批量规范化利用小批量的均值和标准差，不断调整神经网络的中间输出，这样可以使得网络在训练过程中更加稳定，加速收敛，同时也可以一定程度上防止过拟合。

批量规范化的基本思想是对每一层的输入进行规范化处理，使其满足均值为0，方差为1的标准正态分布，然后通过学习参数来恢复网络层需要的原始分布。对于来自小批量$B$的输入$x$，批量规范化$BN(x)$可以按照以下表达式进行：

$$BN(x)=\gamma \odot \frac{x-{\hat{\mu }}_B}{{\hat{\sigma }}_B}+\beta$$

$${\hat{\mu }}_B=\frac{1}{|B|}\sum _{x\in B}x$$

$${\hat{\sigma }}_B^2=\frac{1}{|B|}\sum _{x\in B}(x-{\hat{\mu }}_B{)}^2+ϵ$$

实践中BN层的位置：批量规范化层置于全连接层中的仿射变换和激活函数之间。

$$h=\varphi (BN(Wx+b))$$

预测过程中的BN层：常用的方法是通过移动平均估算整个训练数据集的样本均值和方差，并在预测时使用它们得到确定的输出。