RCNN学习笔记-MobileNet2

MobileNet v2网络是由google团队在2018年提出的，相比MobileNet V1网 络，准确率更高，模型更小。

网络中的亮点：

Ø Inverted Residuals（倒残差结构)
Ø Linear Bottlenecks

激活函数的不同，relu6.

Linear Bottlenecks

考虑一个由n层Li组成的深度神经网络，每层Li具有维数为hi×wi×di的激活张量。在本节中，我们将讨论这些激活张量的基本性质，我们将其视为具有di维的hi×wi“像素”的容器。非正式地，对于真实图像的输入集，我们说层激活集（对于任何层Li）形成了“感兴趣的部分”。长期以来，人们一直认为神经网络中感兴趣的部分可以嵌入在低维子空间中。换句话说，当我们观察深度卷积层的所有单个d通道像素时，这些值中编码的信息实际上位于某个流形中，而该流形又可嵌入低维子空间。

嵌入高维空间中的低维流形的ReLU变换示例。在这些示例中，使用随机矩阵T和ReLU，将这个矩阵嵌入到n维空间，然后使用T的逆矩阵将其投影回2D空间（还原回去）.在上面的例子中，n＝2，3导致信息丢失，其中流形的某些点彼此塌陷，而对于n＝15到30，变换是高度非凸的。
说明了ReLU激活函数对低维特征信息照成了大量损失。在倒残差结构中是两边细，中间粗的结构，所以两边都是低维的特征。所以使用线性激活函数