多尺度竞争卷积

此次所讲内容来自《Competitive Multi-scale Convolution》, 时间节点2015.12

1-模型

先来看看作者最开始设计的模型：

这里着重说明一下Maxout：从r1、r2、r3、r4中选择最大的响应作为输出。由于K*K大小的卷积操作中都采取了pad=K/2、stride=1的操作，因此r1、r2、r3、r4的大小是一致的。

增加了Max pooling,最终得到了下图的网络基本结构，

然后，作者又与GoogleNet的Inception结构进行了对比

2-模型解读

这里就简单说一下作者这么干的依据。（ps.深度学习论文中的大部分依据感觉都是在牵强附会，缺乏有力的证明）。

（1） 作者认为构建一个包含多个子网络的网络模型，才能更好的解决复杂数据集问题；

（2） 很多的激活函数，如Relu、Maxout等(如下图)，都对输入进行了区域划分，而且其中存在了竞争关系。比如，Relu是将输入同0进行竞争。这种竞争性的区域划分有助于构建许多子网络，最终将有助于提升分类结果。（竞争有助于阻止子网络之间的协同工作）

**（3）**Batch Normalization 已经在很多实验中证明了其效果，对卷积后的结果进行BN操作，然后再送入Maxout，可以更好的发挥Maxout的效果；

（4）多尺度卷积可以提升网络能力，但直接像Googlenet那样将数据连接会增加维度。作者采用Maxout，因此最终的输出维度不会很大。

（5）多尺度卷积加Maxout可以实现类似于Dropoutd的效果，有助于防止过拟合，如下图。以3*3和5*5卷积为例，后者的特征空间维度为25D，比前者多了16D。如果二者的卷积结果想要相似的话，那么这额外的16D应该接近于0，同时剩余的9D值接近。换句话说，这给网络施加了一个轻量级的约束：卷积滤波必须收敛到不同的值。以避免网络协同工作。