关于bn层的进一步认识

前几天yy 用resnet_152 fintuing 他的网络出现的问题:

fine-tuning resnet-152 遇到问题:在设置BN层参数use_global_stats的时候,训练时应该为false(滑动均值与方差),测试时应该为true(全局均值与方差)。
现在我的问题是train的时候设为false,test设为true,测试的误差跟训练误差不在一个数量级上(很大),

若测试的时候设为false,则测试误差较小(其实也很大,但至少跟训练误差在一个数量级上)

更详细的信息:

trian  的时候收敛的很好train的loss降到0.1 如果测试的时候use_global_stats =true 那么test 的loss 位6.9 

trian  的时候收敛的很好train的loss降到0.1 如果测试的时候use_global_stats =false 那么test 的loss 为0.5


群里大牛给的答案:

batchsize 太小了。

由原来的batchsize 为35 ---〉140  果断就没有这个问题了

你可能感兴趣的:(关于bn层的进一步认识)