MobileNet、DeepLab学习笔记

MobileNet是模型、是方法，可以用于分类、改变SSD结构进行探测、RCNN、DeepLab等

 参考很好

​​​​​​轻量级神经网络“巡礼”（二）—— MobileNet，从V1到V3 - 知乎

MobileNetV1

就是把VGG中的标准卷积层换成深度可分离卷积

MobileNetV2  

最后的那个ReLU6换成Linear、 先升维到6，再V1 + 残差

（resnet是先降维，标准卷积，再升维度）

MobileNetV3

0.网络的架构基于NAS实现的MnasNet（效果比MobileNetV2好）

1.引入MobileNetV1的深度可分离卷积

2.引入MobileNetV2的具有线性瓶颈的倒残差结构

3.引入基于squeeze and excitation结构SEnet的轻量级注意力模型(SE)

4.使用了一种新的激活函数h-swish(x)

5.网络结构搜索中，结合两种技术：资源受限的NAS（platform-aware NAS）与NetAdapt

6.修改了MobileNetV2网络端部最后阶段

DeepLab V1

是基于VGG16网络改写。

去掉了最后的全连接层

去掉了最后两个池化层

空洞卷积： 相比于传统卷积，可以在不增加计算量的情况下扩大感受野

使用CRF（条件随机场）

DeepLab V2

VGG换成ResNet；

灵活的使用了atrous convolution，提出了空洞空间金字塔池化ASPP，说白了就是利用空洞卷积的优势，从不同的尺度上提取特征。

DeepLab V3

舍弃了CRF, ResNet；

改进了ASPP：空洞卷积之后使用batch normalization，增加了1*1卷积分支和image pooling分支；

加深网络：Going deeper with atrous convolution。

DeepLab V3+

将ResNet-101升级到了Xception；

使用更深的网络；

将所有的卷积层和池化层用深度分离卷积Depthwise separable convolution进行替代，也就是下图中的Sep Conv；

在每一次3*3 depthwise convolution之后使用BN和ReLU。