CNN卷积核选取问题

CNN中可以把卷积核理解为特征提取器,那么卷积核的尺寸大小会对特征提取有什么影响呢,该怎么决定尺寸大小呢?尝试从下面一些问题来慢慢回答。(但不保证是一定是准确的)

Q1:为什么卷积核很多都是选取33 、55、77等奇数的正方形,不能长方形或者偶数吗?
并没有规定不行,选取3、5、7、9等只是为了统一处理长宽、方便计算。比如在其他领域如NLP、语音处理也常用一些其他的卷积核,并非一定是奇数的正方形。更有甚者可以使用可变形卷积核的。

Q2:卷积核尺寸大小会影响什么?有什么区别?
理论上卷积核越大,receptive field(感受野)越大,抽取的特征就越全局,更加全局的特征更有判别性(人话:卷积核越大看到的图片信息越多,因此获得的特征越好)。

感受野:网络内部的不同位置的神经元对原始图像的感受范围的大小(可以理解是神经元的视野)。

Q3:为什么现在很多流行的模型广泛采用小的33卷积核呢?
大的卷积核带来的参数量和计算量也会较大,小的卷积核是可以替代大的卷积核的,比如3个3x3卷积核来代替7x7卷积核,使用了2个3x3卷积核来代替5x5卷积核,而且即使是小的卷积核但随着网络深度增加也取得很好的效果,所以这也许是模型精度与计算量的一个权衡。
总的来说小卷积核的好处有:
1、为了减少计算量和参数量,加快模型训练;
(参数量减少是绝对的,但计算量减少不是绝对的,请看:5*5卷积核替换为两个级联3*3卷积核在参数和计算量上的影响)
2、相同参数量下小的卷积核意味着可以添加更多卷积层,增强非线能力。

Q4:为什么2个3x3卷积核来代替5x5卷积核呢?
是因为2个3x3卷积核串联在一起和1个5x5卷积核的感受野是相同的。

论文中的图片

你可能感兴趣的:(CNN卷积核选取问题)