going deeper with convolutions (Googlenet网络解读)

http://www.gageet.com/2014/09203.php这个网址已都经把文章翻译好了,这里主要是说两点:

1.Googlenet借鉴了network in network里的多层感知器结构,也就是convolution层的 kernel_size=1,它的好处主要是体现在以下两方面:

a.降维,解决计算瓶颈;
b.提高神经网络的表达能力(多层感知器)。

2.Googlenet有一点突破就是对数据卷积核进行并联(多尺度的对图像进行卷积),考虑到计算的时间问题,底层用大卷积核(7*7),上层用小卷积核(3*3,5*5),值得借鉴啊。

最后,引用知乎上一为大牛讲解 Googlenet话:http://www.zhihu.com/question/27393324

正如文章中所写,增加网络宽度的好处,来源于不同尺度的卷积核并联,从而实现了对multi-scale特征的利用,也就是文章中Figure 2(a),给出的inception module的结构。但是较大尺度卷积核的使用,会带来网络规模以及计算量的增加。这里作者提出了采用小卷积核和大卷积核级联的方法,来压缩模型的参数量,也就是文中的Figure 2(b)。

按文章中Figure 3所示的网络结构,我们可以算一下:对于一张224*224*3的图片,过完前三层公用的卷积(7*7-1*1-3*3)之后,feature map的大小是28*28*192。这时如果直接使用128个3*3的卷积核,那么需要(3*3*192*128)个parameter,而如果按文中所述先用1*1的卷积核把feature map的第三维维数先降下来,再用3*3的卷积,这样模型的规模就可以小很多,文中用了96个1*1+128个3*3的卷积核级联,这时parameter的数目变成了(1*1*192*96+3*3*96*128),几乎只是原来的一半。同理对5*5的卷积,文中用16个1*1+32个5*5卷积核级联,代替直接使用32个5*5卷积核,parameter数目从(5*5*192*32)下降到(1*1*192*16+5*5*16*32)。后面每层也依次类推。
going deeper with convolutions (Googlenet网络解读)_第1张图片

你可能感兴趣的:(caffe,网络,caffe,kernel)