CNN网络分解--Factorized Convolutional Neural Networks

ICML2016

本文主要针对CNN网络的卷积运算进行深入分析，简化卷积运算。
Our model achieves accuracy of GoogLeNet while consuming 3.4 times less computation

本文和以前CNN网络简化工作最大的不同在于，以前都需要预训练完整的模型，在这个基础上简化完整模型，然后再微调简化后的模型。This limitation eliminates the possibility of improving efficiency while designing and training new CNN models from scratch。这就导致如果我们设计和训练一个新的CNN模型，如果想提高效率就比较困难了。

2 Method
2.1 Standard Convolutional Layer
标准的卷积网络和普通的卷积运算一样

这里 h*w是图像长宽, m 是输入特征通道的个数,n是输出特征通道的个数。

2.2 Convolutional Layer with Bases

这里我们先对每个通道进行卷积，得到得到和输入尺寸相同的输出，然后再对这些输出投影到输出通道

2.3 Convolutional Layer as Stacked Single Basis Layer

这里我们假定输入输出通道个数相同 m=n，我们做出以下改变：
a) 加入残差学习，卷积得到的输出直接加上输入
b) 将基的个数变为1
c) 对输出应用 RLU函数
d) 重复该层 b次，b为算法2中基的个数。

这里主要的思想就是通过残差学习，将复杂的一层网络变为很多层简单的网络，增加网络的深度，减少运算量。

2.4 Topological Connections

这里每个输出通道只考虑相邻的几个输入通道，而不是考虑所有的输入通道。
Each output channel is only connected with its local neighbors rather than all input channels

3 Experiments

另一篇csdn相关文献
http://blog.csdn.net/shenxiaolu1984/article/details/52266391