深度学习笔记（五）--AlexNet网络

AlexNet

神经网络AlexNet，是以论文的第一作者Alex Krizhevsky的名字命名的，另外两位合著者是Ilya Sutskever和Geoffery Hinton。

 

AlexNet首先用一张227×227×3的图片作为输入，实际上原文中使用的图像是224×224×3，但是如果你尝试去推导一下，你会发现227×227这个尺寸更好一些。第一层我们使用96个11×11的过滤器，步幅为4，由于步幅是4，因此尺寸缩小到55×55，缩小了4倍左右，输出为55×55×96。

然后用一个3×3的过滤器构建最大池化层，f=3 ，步幅s 为2，卷积层尺寸缩小为27×27×96。

接着再执行一个5×5的same卷积，padding之后，输出是27×27×276。

 

PS:卷积根据填充像素的多少（padding）分为Valid卷积和Same卷积

Valid卷积意味着不填充，这样的话，如果你有一个n×n 的图像，用一个f×f 的过滤器卷积，它将会给你一个(n-f+1)×(n-f+1) 维的输出。例如有一个6×6的图像，通过一个3×3的过滤器，得到一个4×4的输出。

另一个经常被用到的填充方法叫做Same卷积，那意味你填充后，你的输出大小和输入大小是一样的。

 

然后再次进行最大池化，尺寸缩小到13×13。再执行一次same卷积，相同的padding，得到的结果是13×13×384，384个过滤器。再做一次same卷积，就像这样。再做一次同样的操作，最后再进行一次最大池化，尺寸缩小到6×6×256。

6×6×256等于9216，将其展开为9216个单元，然后是一些全连接层。最后使用softmax函数输出识别的结果，看它究竟是1000个可能的对象中的哪一个。