Inception

Inception(盗梦空间结构)是经典模型GoogLeNet中最核心的子网络结构,GoogLeNet是Google团队提出的一种神经网络模型,并在2014年ImageNet挑战赛(ILSVRC14)上获得了冠军

Inception-v1论文名为《Going deeper with convolutions》,论文见:https://arxiv.org/pdf/1409.4842.pdf

Inception-v2、Inception-v3论文名为《Rethinking the inception architecture for computer vision》,论文见:https://arxiv.org/pdf/1512.00567.pdf 。

提示卷积神经网络的方法就是加大网络,要么你变宽要么你变深,像VGGNET是变深而Inception就是变宽。

Inception_第1张图片

InceptionNet 的基本单元中,卷积部分是比较统一的 C、B、A 典型结构,即 卷积→BN→激活,激活均采用 Relu 激活函数,同时包含最大池化操作。

InceptionNet的设计思想是通过不同尺寸卷积层和 池化层的横向组合(卷积、池化后的尺寸相同,通道可以相加)来拓宽网络深度,可以增加 网络对尺寸的适应性,但是卷积的参数和计算量本来就是巨大的,所以该网络做了这样处理,在最大此化过后加入1*1卷积和。

V2在改进的时候加入了BN层

Inception_第2张图片

增大了学习率,因为BN层的存在,不用担心因学习率过大而导致的小变化引起的大扰动问题。

借鉴了VGG,采用两个3×3的卷积层代替5×5的卷积层。

BN层具有很强的泛化能力,可以替代dropout。

使用了随机梯度下降SGD,作者在论文一开始就说了大段SGD的好处。\n由于BN层的存在,可以去除LRN

这个就是为了处理应为每一层的输入不一样,导致每一层网络架构不一样,每层数据的输入,都会受到前面所有层的影响。很小的参数的变化,都会对后面的数据输入造成很大的扰动,层数越深,扰动越大。所以引入BN层解决数据分布问题,进行一个均一化的预处理。

V3则是引入了分解大尺寸卷积为多个小卷积乃至一维卷积),将一个较大的二维卷积拆成两个较小的一维卷积,比如将7´7卷积拆成1´7卷积和7´1卷积,或者将3´3卷积拆成1´3卷积和3´1卷积,这一方法,这样减少参数量,加快计算速度。

Inception_第3张图片

V4的改变在于他不但用了V3的不对称卷积,他还使用了并行结构。

Inception_第4张图片

多个层能够同时进行,这样使得训练更快。

你可能感兴趣的:(深度学习,神经网络,cnn)