【论文阅读】Going Deeper with convolutions

论文简介:

《Going Deeper with convolutions》是谷歌团队,在2014ILSVRC (ImageNet Large Scale Visual Recognition Competition)竞赛中,在分类任务中获得第一名的22层的Inception网络实例GoogLeNet的论文详解。

一、Abstract 摘要

基于Hebbian principle、图像多尺度处理等原理,作者提出一种新的Inception网络结构单元模块,基于Inception网络结构单元模块,采用一些巧妙的设计,构造出一个宽度和深度都较大,性能更好,但是参数量和计算需求不太大的网络模型GoogLeNet。

二、Introduction 介绍

深度学习在计算机视领域的巨大进步,不是在单纯的增加网络的宽度、深度,使用更大的网络模型,更好的硬件资源以及更大的数据集来获得的,而是来自于一些新的思想、算法、网络结构等。例如目标检测的R-CNN结合了传统视觉和CNN的优点。算法性能很重要,算法的内存消耗以及计算量也很重要,其决定了算法能否得到实际使用。

增大网络宽度(神经网络一层的神经元的个数,卷积核的个数)、深度,再加上使用dropout解决过拟合问题,是一个可以较稳妥的获得较好效果的网络模型的手段,但是是低效的。且也需要较大的数据集,构建高质量数据集是棘手且昂贵的一件事。

Inception结构大量使用了1x1卷积层,主要原因是:它可以通过降维来降低计算量,同时也可以加深网络的深度,或者是宽度。在增加网络宽度和深度的时候,使用bottle neck 式的1x1卷积层来做降维处理,此处的bottle neck是说1x1的前一层和后一层都有较多的卷积核(神经元),较多的feature map,1x1层使用较少的卷积核(较少的feature map),1x1就像一个瓶子的颈部。对特征图层进行降维(注意是通道的降维,不是空间的降维)。与没有1x1的bottle neck形的网络结构相比(前一层若干个神经元到后一层若干个神经元),有1x1的bottle neck形的网络结构可以具有更少的网络参数,更少的计算量。

三、Motivation and High Level Consideration

如果一个数据集的统计分布特性可以使用一个大的网络来描述,则传统简单的增加网络宽度、深度,使用dropout以及正则化训练得到的网络,多数是一个稀疏网络,网络中很大一部分参数为0,网络层中的feature map 是稀疏的(多数是0值,少数非0值),网络同一层的各个不同feature map在channel方向是稀疏、聚类的,在某个特定x,y位置的channel方向上,来自不同feature map的激活值可以进行聚类为少量的几个簇,聚类为一个簇的对应神经元是一个filter banks,是Hebbian principle的“有些神经元响应基本一致,即同时兴奋或抑制”一致。

网络的feature map在channel方向是稀疏、聚类的,所示可以使用比较少的1x1的层进行网络feature信息的聚类、压缩,再传给网络的下一层。例如某个1x1层的某一个卷积核的参数(学习得来的)为[0,0,1,1,0,1,0,0],则该卷积核类似在进行对上一层的3,4,6三个卷积核的输出值进行聚类作用。在将稀疏的激活值进行聚类。

现代的经过针对CPU,GPU结构进行深度优化的软件计算库,对稠密数据具有较高的计算效率,对稀疏数据反而具有较低的计算效率(尽管其需要参与计算的数及操作较少)。所以为了兼顾网络稀疏性的要求,以及要使用经过充足优化后的软件计算库,以及使用传统图像的多尺度处理原则,Inception网络结构单元模块中的1x1  bottle neck对稀疏数据进行聚类压缩,且还和传统卷积一样保持了相同的计算形式,都是卷积形式,而不是其他什么针对稀疏数据的其他特别处理手段,继续使用了优化软件库的稠密计算优点。

如此一来,使用Inception网络结构单元模块,配合为网络各层设置合适的1x1,3x3,5x5卷积核的个数,可以构建出一个宽度较宽,且深度较深,而网络模型参数较少的CNN网络,此网络模型具有较强的表示能力,且具有较低的计算量(较高的计算效率)。

在深度加深的情况下,在BP算法执行时可能会使得某些梯度为0,这会使得网络的收敛变慢。论文中使用的方法是增加两个输出层(Auxiliary Classifiers),这样一些权值更新的梯度就会来自于多个部分的叠加,加速了网络的收敛。但预测时会吧AC层去掉。

四、GoogLeNet网络结构

GoogLeNet网络有22层,最后一层使用了NIN网络中的全局平均池化层,但还是会加上FC层,再输入到softmax函数中

【论文阅读】Going Deeper with convolutions_第1张图片

【论文阅读】Going Deeper with convolutions_第2张图片

 

你可能感兴趣的:(论文阅读,深度学习,神经网络,机器学习,googlenet,CNN)