cs231n-assignment2-Batch Normalization原理推导

做作业的时候敲BN调了很久,当时就写了博客忘记放上来了。。。

assignment2 完整代码链接:http://download.csdn.net/download/pjia_1008/9892859

Batch Normalization 可以理解为是一种数据预处理技术,使得每层网络的输入都服从(0,1)0均值,1方差分布,如果不进行BN,那么每次输入的数据分布不一致,网络训练精度自然也受影响。


1,Batch Normalization算法

cs231n-assignment2-Batch Normalization原理推导_第1张图片

针对每个batch, 先要求出这个batch的均值和方差,然后normalize(这里感觉很像非标准正态转化成标准正态的计算方法)

因为我们前面计算均值和方差的时候,用的是batch来算的,所以这个计算的均值和方差对整体训练样本不适用,需要进行放缩到原始样本的比例,所以最后进行了scale and shift(这里有两个hyper parameter是通过训练得到)完整的计算图如下:

cs231n-assignment2-Batch Normalization原理推导_第2张图片

2, forwardpass

cs231n-assignment2-Batch Normalization原理推导_第3张图片

3, backpropagation

cs231n-assignment2-Batch Normalization原理推导_第4张图片
cs231n-assignment2-Batch Normalization原理推导_第5张图片
计算backpropagation的时候,x和xmu是由两部分组成的,计算梯度的时候需要两部分相加起来!

你可能感兴趣的:(deep-learning)