MobileNetV2笔记:linear bottleneck与Inverted residuals

先讲Inverted residuals
就是普通卷积变为Depthwise Convolution+Pointwise Convolution,并且在前面增加一个1*1卷积升维,当然在做Pointwise Convolution的时候也会做相应降维
MobileNetV2笔记:linear bottleneck与Inverted residuals_第1张图片
并且加了一个residuals的shortcut,这样就可以更多地叠加模块增加网络深度
为什么这么做?
=》DW+PW的卷积减少了参数量,但会损失特征,而通道越多保留的特征越多,所以要做expansion
Linear bottleneck
就是上图最后一个Pointwise convolution后不做ReLu,直接输出(注意前面每步后面都加了ReLU的)
为什么这么做?
=》对低维特征做ReLU时会丢失很多信息
前面之所以用ReLU是因为前面做了一个升维(exapansion)操做,高维的就还好,而后面做PW会做降维,此时直接输出PW的结果

你可能感兴趣的:(学习笔记)