CS231N Lecture9: CNN Architectures

CS231N Lecture9: CNN Architectures_第1张图片
常用的CNN结构

1. LeNet-5

CS231N Lecture9: CNN Architectures_第2张图片
用于数字识别


2. AlexNet

CS231N Lecture9: CNN Architectures_第3张图片

(图中第一层的输出被分为了两部分,因为作者在做实验使用GTX580,放不下这么大的网络,所以用了两个GPU,分别放一半的网络结构)

即如下结构:

CS231N Lecture9: CNN Architectures_第4张图片

输入:227 x 227 x 3的图像

第一层:(CONV1):96个 11 x 11的卷积核,步长为4。 

        输出为 55 x 55 x 96(Hint:(227 - 11)/4 + 1 = 55)。参数个数为(11*11*3)*96 = 35K。

第二层:(POOL1):3 x 3的filter,步长为2。输出为:27 x 27 x 96。参数个数为0。

3. VGGNet

CS231N Lecture9: CNN Architectures_第5张图片

使用更深的网络,更小的filter

使用更小filter(3 x 3 conv)的原因:stack of three 3 x 3 conv (stride 1) layers has same effective receptive field as one 7 x 7 conv layer。但是参数个数更少

effective receptive field:http://blog.csdn.net/gengsijing4459/article/details/78522997

CS231N Lecture9: CNN Architectures_第6张图片

AlexNet有6000万个参数

4. GoogleNet

CS231N Lecture9: CNN Architectures_第7张图片

计算很高效,没有全联接层。只有500万的参数,AlexNet是它的12倍。

"Inception module": design a good local network topology(network with a network) and then stack these modules on top of each other.

CS231N Lecture9: CNN Architectures_第8张图片

平行计算,所以能提升计算效率。

这种方法的问题:

CS231N Lecture9: CNN Architectures_第9张图片


5. ResNet

residual connection

CS231N Lecture9: CNN Architectures_第10张图片


各种方法的结果:

CS231N Lecture9: CNN Architectures_第11张图片

你可能感兴趣的:(CS231N Lecture9: CNN Architectures)