xnor net 实验二

结论:

1:acc的上升期与beforBN均值的上升期基本一致。说明对卷积层,输出均值的稳定有利于acc提升;猜想对于全连接层,神经元输出值大小的稳定也有利于acc的提升。
2:从矩阵图看出,BN前后值相对大小没有发生变化,但绝对值大小差异明显. b e f o r e B N m a x − b e f o r e B N m i n > = 10 ∗ ( a f t e r B N m a x − a f t e r B N m i n ) beforeBN_{max}-beforeBN_{min}>=10*(afterBN_{max}-afterBN_{min}) beforeBNmaxbeforeBNmin>=10(afterBNmaxafterBNmin). BN作用也许可以概括为:在保留足够多信息的情况下,尽可能压缩值得范围

acc
xnor net 实验二_第1张图片

最后一层:
xnor net 实验二_第2张图片

上升期:

比对1:

xnor net 实验二_第3张图片

比对2:

xnor net 实验二_第4张图片

比对三

xnor net 实验二_第5张图片

平稳期

比对1

xnor net 实验二_第6张图片

比对2

xnor net 实验二_第7张图片

比对3

xnor net 实验二_第8张图片

你可能感兴趣的:(量化)