nn.Batchnorm2d

pytorch中的nn.Batchnorm2d中的running_mean和running_var在训练过程中是不起作用的,训练过程中,对输入数据进行归一化所用的均值方差是每一次输入数据所计算出来的,而running_mean和running_var则是对每一次输入数据的均值方差的记录,以某种方式加起来以达到对整个数据集均值方差的记录,一般是动量相加,所以有时候会出现nn.Batchnorm2d中的running_mean和running_var已经是nan了,但是对训练没影响,而在测试的时候有影响

参考自:详细解读nn.BatchNorm2d——批量标准化操作-物联沃-IOTWORD物联网

你可能感兴趣的:(CV笔记,深度学习,pytorch,人工智能)