eval模式和train模式

eval模式和train模式得到不同的结果是正常的。我的模型中，eval模式和train模式不同之处在于Batch Normalization和Dropout。Dropout比较简单，在train时会丢弃一部分连接，在eval时则不会。Batch Normalization，在train时不仅使用了当前batch的均值和方差，也使用了历史batch统计上的均值和方差，并做一个加权平均（momentum参数）。在test时，由于此时batchsize不一定一致，因此不再使用当前batch的均值和方差，仅使用历史训练时的统计值。

参考博文：https://blog.csdn.net/yucong96/article/details/88652964