【MobileNet-V2】深度学习模型压缩之MobileNetv2

【MobileNet-V2】深度学习模型压缩之MobileNetv2_第1张图片
论文名称
深度学习模型压缩之MobileNetv2
作者
miclover
参考
https://blog.csdn.net/u010712012/article/details/95922901
https://zhuanlan.zhihu.com/p/35405071
https://arxiv.org/pdf/1801.04381.pdf
https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet
书摘
V1版本存在的问题:
问题1:ReLU造成的低维度数据坍塌(collapses)
        作者举例:将一个二维的螺旋结构先使用随机矩阵映射到m维度,在使用这个随机矩阵的逆矩阵映射回二维空间,来看一下在 ReLU使用过程中造成的问题。
      当n = 2,3,5时,与Input相比有很大一部分的信息已经丢失了。而当n = 15~30,还是有相当多的地方被保留了下来。 也就是说,对低维度做ReLU运算,很容易造成信息的丢失。而在高维度进行ReLU运算的话,信息的丢失则会很少。
      这就解释了为什么深度卷积的卷积核有不少是空。发现了问题,我们就能更好地解决问题。针对这个问题,可以这样解决:既然是ReLU导致的信息损耗,将ReLU替换成线性激活函数。
 
问题2:没有复用特征
       在神经网络训练中如果某个卷积节点权重的值变为0就会“死掉”。因为对于任意输入,该节点的输出都是0。而ReLU对0值的梯度是0,所以后续无论怎么迭代这个节点的值都不会恢复了。而通过ResNet结构的特征复用,可以很大程度上缓解这种特征退化问题。
 
                                                                   思考
文中对于MobileNet 第二个版本主要工作创新点:
【MobileNet-V2】深度学习模型压缩之MobileNetv2_第2张图片
1、Linear bottleneck
【MobileNet-V2】深度学习模型压缩之MobileNetv2_第3张图片
 
2、Expansion layer
【MobileNet-V2】深度学习模型压缩之MobileNetv2_第4张图片
3、Inverted residuals: 先升维 (6倍)、卷积、再降维
【MobileNet-V2】深度学习模型压缩之MobileNetv2_第5张图片
最终:
       V1:类似于VGG结构 作为网络基本结构
       V2:Linear Bottlenecks+Inverted residual block作为网络基本结构
【MobileNet-V2】深度学习模型压缩之MobileNetv2_第6张图片 【MobileNet-V2】深度学习模型压缩之MobileNetv2_第7张图片
网络结构:
【MobileNet-V2】深度学习模型压缩之MobileNetv2_第8张图片
 
 
 

你可能感兴趣的:(#,深度学习框架,深度学习,tensorflow,机器学习,神经网络)