菜鸟实习日记~day5(VGG+video feature flow PPT)

生活：

今天累成狗了......柱子哥让我做关于video feature flow主线的PPT，然后在组会上讲...我一个刚来不到1个月的实习生，这简直太看得起我了。。。

中午吃的那个炸鲜奶挺好吃的~

科研：

1.VGG：

详解CNN五大经典模型:Lenet，Alexnet，Googlenet，VGG，DRL

基于CNN经典的五大模型在上面的链接里都简单介绍啦，下面主要说VGG和Alexnet:

VGG相对来说，有更准确的估值，更节省空间。

先解释几个仍然不清楚的概念：

@1：filter(过滤器)——相当于一套卷积参数，每个Filter都可以把原始输入图像卷积得到一个Feature Map，三个Filter就可以得到三个Feature Map.

@2：channel（通道）——我们可以把Feature Map可以看做是通过卷积变换提取到的图像特征，三个Filter就对原始图像提取出三组不同的特征，也就是得到了三个Feature Map，也称做三个通道(channel)

VGG结构：

VGG结构图

与AlexNet相同点

1.最后三层FC层(Fully Connected全连接层）结构相同。

2.都分成五层（组）。

3.每层和每层之间用pooling层分开。

不同点

1.AlexNet每层仅仅含有一个Convolution层，filter的大小7x7（很大）；而VGG每层含有多个(2~4)个Convolution层，filter的大小是3x3（最小）。很明显，VGG是在模仿Alex的结构，然而它通过降低filter的大小，增加层数来达到同样的效果。我提出我的一个对这种模仿的一种我自己的理解。因为不是论文中讲到，仅仅是我自己的理解，仅供大家参考。

作者在论文中说了一句

"This can be seen as imposing a regularisation on the 7 × 7 conv. filters, forcing them to have a decomposition through the 3 × 3 filters"

他说7x7 filter可以被分解成若干个3x3的filter的叠加。

类比一下n维空间的向量x，x的正交分解

x = x1(1, 0, 0, ....) + x2(0, 1, 0, ...) + x3(0, 0, 1,...) + ... + xn(0, 0, 0, ..., 1)

每一组的每一层的filter被类比成n维欧几里得空间的基底。

若VGG的一组含有3层3x3的filter，则我们则假设一个7x7的filter可以被分解成3种“正交”的3x3的filter。

作者原文：First, we incorporate three non-linearrectification layers instead of a single one, which makes the decision function more discriminative.Second, we decrease the number of parameters: assuming that both the input and the output of athree-layer 3 × 3 convolution stack has C channels, the stack is parametrised by 3  32C^2 = 27C^2weights; at the same time, a single 7 × 7 conv. layer would require 72C^2 = 49C^2

2.AlexNet的Channel明显小于VGG。猜测VGG的之所以能够达到更高的精准性，源自于更多的Channel数。而由于filter size的减小，channel可以大幅度增加，更多的信息可以被提取。

作者：voidrank

链接：http://www.jianshu.com/p/9c6d90e4f20e