CNN常见网络结构 (总结2)

1.1序贯结构:

        序贯结构是出现较早,最为常见和典型的结构。序贯结构包含单输入与单输
出,其神经网络由网络层堆叠而成。每一个网络层仅以上一层网络的输出为输入,
并将经过处理后的输出送给下一层。序贯结构的典型代表模型是VGG系列网络,
VGG-16网络的网络结构展示在图2-6中。 早期的网络由于梯度弥散的问题,无法
堆叠很深。随着“ReLU”激活函数与更为科学的权重初始化策略的提出,序贯
结构可以堆叠较深。但过深的网络仍然会出现训练困难甚至是网络退化 [9] 的问题。
网络退化指的是随着网络层数的加深,网络性能反而出现下降的现象。虽然如此,
序贯结构因其形式简单,易于训练和调整,仍然作为一种经典结构被广泛使用。

 

1.2自编码结构:

        自编码结构指的是网络的输出试图重构网络输入的一种结构,形式上它可以
是序贯的全连接网络或卷积网络,如卷积自编码器 ,也可以是含有跨层连接的
复杂形态,如梯式自编码器 [56] 。自编码结构通常被认为是深度学习中的无监督学
习模型,但严格来讲,它属于一种特殊的有监督学习,称为“自监督”学习。自
编码器的主要作用是学习原始数据在另一空间(通常维度更低)更加高效的表示,
与主成分分析(PCA)的作用类似。使用自编码结构网络还可以用于图像去噪、
图像超分辨处理 [57] 等应用领域。图2-7展示了最简单的自编码器的工作原理。

1.3 Inception结构:

        Inception网络是由Google Mind提出的一类高性能卷积神经网络,目前已有
四个版本。Inception结构的特征有两点。一是使用了1x1卷积核,二是将卷积运
算分解为多个多个不同尺度的卷积核。前者参考了Network In Network [51] 的思想,
通过1x1的卷积核合并卷积特征,减少网络参数,在有限内存下能够构建更深的网
络。后者的主要思想是将同一个输入数据用多个尺度的卷积核进行卷积,然后再
将结果合并,其出发点同样是减少网络参数,使得在相同资源的条件下能够搭建
更深的网络模型。InceptionV1基本网络单元如图2-8所示。

1.4 Highway结构:

1.5 Siamese结构:

        Siamese结构是常用于验证类问题,如人脸验证,指纹认证等问题的网络结
构,其基本思想是使用深度神经网络对待验证的图片进行特征提取,然后在末端
比较其特征相似度。Siamese结构的网络以成对的样本进行训练和测试。当两组数
据的相似性与其真实值正相关时,网络应该产生较小的反传误差,反之,当样本

1.6 生成对抗结构: