怎么使用小卷积核代替大卷积核

本文记录的目的是方便自己学习和复习，有误之处请谅解，欢迎指出。

卷积分解（Factorizing Convolutions）

    两个3x3代替一个5x5：大尺寸的卷积核可以带来更大的感受野，但也意味着会产生更多的参数，比如5x5卷积核的参数有25个，3x3卷积核的参数有9个，前者是后者的25/9=2.78倍。因此，GoogLeNet团队提出可以用2个连续的3x3卷积层组成的小网络来代替单个的5x5卷积层，即在保持感受野范围的同时又减少了参数量，如下图：

两个3x3代替一个5x5

    两个nx1代替一个nxn：那么这种替代方案会造成表达能力的下降吗？通过大量实验表明，并不会造成表达缺失。可以看出，大卷积核完全可以由一系列的3x3卷积核来替代，那能不能再分解得更小一点呢？GoogLeNet团队考虑了nx1的卷积核，如下图所示，用3个3x1取代3x3卷积：

1x3与3x1代替3x3