轻量级神经网络MobileNet [V1 V2 V3]主要思想

1. MobileNet，从V1到V3

https://zhuanlan.zhihu.com/p/70703846

1.1 MobileNet V1

主要思想：

1. 采用了深度可分离卷积（depthwise separable convolution）来提高网络的计算速度，depthwise separate convolution包含了深度卷积（depthwise convolution）和逐点卷积（pointwise convolution）。
   
   

2. 激活函数采用的是ReLU6
   
   

1.2 MobileNet V2

主要思想：

1. Expansion layer
   在DW深度卷积之前使用PW卷积进行升维（升维倍数为t，t=6），再在一个更高维的空间中进行卷积操作来提取特征

2. Inverted residuals

3. 加入了1×1升维，引入Shortcut并且去掉了最后的ReLU，改为Linear。步长为1时，先进行1×1卷积升维，再进行深度卷积提取特征，再通过Linear的逐点卷积降维。将input与output相加，形成残差结构。步长为2时，因为input与output的尺寸不符，因此不添加shortcut结构，其余均一致。

1.3 MobileNet V3

MobileNet V3 = MobileNet v2 + SE + hard-swish activation + half initial layers channel & last block do global average pooling first

主要思想：

1. 采用的神经结构搜索（NAS）得到的V3模型。由资源受限的NAS执行模块级搜索，NetAdapt执行局部搜索。

2. 采用了新的非线性激活函数引入h-swish激活函数。

swish函数:$f(x)=x\ast sigmiod(\beta x)$

h-swish函数（hard-swish）：$f(x)=x\frac{ReLU6(x+3)}{6}$

3. 将最后一步的平均池化层前移并移除最后一个卷积层，对最后的特征做处理：


4. 引入基于squeeze and excitation结构的轻量级注意力模型(SE)
网络模块：