基于批量标准化（Batch Normalization）的梯度求解

问题来源：cs231n [Assigment 2 - Batch Normalization]
什么是批量标准化，本篇不再去阐述，这里推荐一篇笔者觉得讲的很详细的博客:https://blog.csdn.net/qq_41853758/article/details/82930944
在实际操作中，通过批量标准化，可以极大的提高神经网络的准确率和训练速度，是提升自己模型的一个重要方法。本篇将对批量标准化进行推导，求得反向传播梯度。

批量标准化公式：

其中的作用是防止分母为0。
输出：
和都是传入的参数，可以调节输出范围。当时，就可以将还原为。
为了推导的准确性，这里给出更严谨的表达式：
其中：
这里以上是前向传播的过程，比较难以理解的是反向传播过程
即求，我们先尝试着来求第三项
$\frac{d \mathcal{L}}{d x} = \left(\begin{array}{ccc} {\frac{d \mathcal{L}}{d x_{11}}} & {\cdots} & {\frac{d \mathcal{L}}{d x_{1 H}}} \\ {\cdots} & {\frac{d \mathcal{L}}{d x_{k l}}} & {\cdots} \\ {\frac{d \mathcal{L}}{d x_{N 1}}} & {\cdots} & {\frac{d \mathcal{L}}{d x_{N H}}} \end{array}\right)$
由公式可知，无法直接求解，而是需要进行链式求导
这里，我们假设已知，来求后面两项
由(2)式可以很容易出第二项为，比较复杂的是第三项。
为了简化过程，我们将的分子分母单独拿出来求导，然后进行整合。
令 ,则可以求得其中的含义为，当时，取值为1。这个好理解，矩阵中转化过去的元素只有对求导的时候才不为0，第二项根据均值的公式可以得出。
现在来求分母的导数，令,则
进一步求导： $\begin{aligned} \frac{d \sigma_{l}^{2}}{d x_{i j}} &=\frac{1}{N} \sum_{p} 2\left(\delta_{i p} \delta_{j l}-\frac{1}{N} \delta_{j l}\right)\left(x_{p l}-\mu_{l}\right) \\ &=\frac{2}{N}\left(x_{i l}-\mu_{l}\right) \delta_{j l}-\frac{2}{N^{2}} \sum_{p} \delta_{j l}\left(x_{p l}-\mu_{l}\right) \\ &=\frac{2}{N}\left(x_{i l}-\mu_{l}\right) \delta_{j l}-\frac{2}{N} \delta_{j l}\left(\frac{1}{N} \sum_{p} x_{p l}-\mu_{l}\right) \\ &=\frac{2}{N}\left(x_{i l}-\mu_{l}\right) \delta_{j l} \end{aligned}$

最难的求导部分已经完成，剩下的就是整合了，整合的步骤这里省略，只给出结果。
令，可得：
$\frac{d \hat{x}_{k l}}{d x_{i j}}= \left(\delta_{i k} \delta_{j l}-\frac{1}{N} \delta_{j l}\right)\left(\sigma_{l}^{2}+\epsilon\right)^{-1 / 2}-\frac{1}{N}\left(x_{k l}-\mu_{l}\right)\left(x_{i l}-\mu_{l}\right) \delta_{j l}\left(\sigma_{l}^{2}+\epsilon\right)^{-3 / 2 \tag{4}}$
将带入结合第二项为，整理求得： $\frac{d \mathcal{L}}{d x_{i j}}=\frac{1}{N} \gamma_{j}\left(\sigma_{j}^{2}+\epsilon\right)^{-1 / 2}\left(N \frac{d \mathcal{L}}{d y_{i j}}-\sum_{k} \frac{d \mathcal{L}}{d y_{k j}}-\left(x_{i j}-\mu_{j}\right)\left(\sigma_{j}^{2}+\epsilon\right)^{-1} \sum_{k} \frac{d \mathcal{L}}{d y_{k j}}\left(x_{k j}-\mu_{j}\right)\right)$
求解的过程更加简单，这里给出结果
$\begin{aligned} \frac{d \mathcal{L}}{d y_{j}} &=\sum_{k l} \frac{d \mathcal{L}}{d y_{k l}} \frac{d y_{k l}}{d \gamma_{j}} \\ &=\sum_{k l} \frac{d \mathcal{L}}{d y_{k l}} \hat{x}_{k l} \delta_{l j} \\ &=\sum_{k} \frac{d \mathcal{L}}{d y_{k j}}\left(x_{k j}-\mu_{j}\right)\left(\sigma_{j}^{2}+\epsilon\right)^{-1 / 2} \end{aligned}$
$\begin{aligned} \frac{d \mathcal{L}}{d \beta_{j}} & = \sum_{k l} \frac{d \mathcal{L}}{d y_{k l}} \frac{d y_{k l}}{d \beta_{j}} \\ &=\sum_{k l} \frac{d \mathcal{L}}{d y_{k l}} \delta_{l j} \\ &=\sum_{k} \frac{d \mathcal{L}}{d y_{k j}} \end{aligned}$

参考博客：http://cthorey.github.io./backpropagation/

总结

这三篇神经网络部分的知识大部分是自己以前没有去深入了解的，为了不让自己成为一个“调包侠”，理解这种底层的数学知识非常重要。日后如果还又类似的问题，会再发上来。

下篇预告：python爬虫获取电影排行榜

基于批量标准化（Batch Normalization）的梯度求解

总结

你可能感兴趣的:(基于批量标准化（Batch Normalization）的梯度求解)