cs231n 2018系列笔记（lecture9）

 

 

lecture地址：https://pan.baidu.com/s/1ogacZy5QEFGv_DyLyk9r-A 密码：ff6s

这篇lecture主讲的是CNN的网络结构分析和变迁，比较详尽。

Alexnet

首先是Alexnet,2012年最佳

分析了CNN对于图片维度的改变，之前有提到过

王小花：cs231n 2018系列笔记(lecture5)​zhuanlan.zhihu.com

还有网络参数量的计算，都是比较基础的 。

下面是一张对比图，显示了网络深度和误差率的关系。

VGG

另一个比较经典的是VGG,最近的研究表明vgg在某些情况下泛化能力甚至优于resnet.不过缺点也显而易见，网络太大，初始版本没有引进resnet的思想，深度加深但是acc并没有下降。

下图显示了VGG的巨大参数量，大部分集中在FC层

GoogLenet

之后是GooLenet,引进了inception并行模块，并且参量只有Alexnet的1/12.比较有意思的是1x1 kernel, 对于改变channel有奇效，来自NIN网络的思想,。另一个需要注意的是右侧悬挂的节点用于附加梯度。

同样的如图，由于是并行需要保持尺寸一样，下图均为28x28，channel数随意.

既然上面提及了NIN,下图比较形象的说明了所产生的影响。

下图是增强型inception和他的参数量，标注出来的就是新增的节点，都是1x1的kernel,可以看出他们的作用在于降低了输入的channel数，在降低的情况下还能这么多参量。

 

ResNet

结构创新，使得更深层的网络也能训练出很好的效果。主要原因是前向传播时能够提供特征重用，反向传播时缓解了梯度消失；也可以看作是浅层网络的集成，主要的实验证据是：把 ResNet 中的某些层直接删掉，模型的性能几乎不下降。

对于finetune来说，下图的模型参量和效果具有很好的参考意义

GoogLeNet: most efficient
Inception-v4: Resnet + Inception! 
VGG: Highest memory, most operations
AlexNet:Smaller compute, still memory heavy, lower accuracy
ResNet:Moderate efficiency depending on model, highest accuracy

下图是batchsize与每张图片学习的时间，不过最近又看到论文说32并且是2的倍数以下才是最快的，其实还是要看机器性能。

另外的一些不错的网络但是没提及的包括

1.NIN

2.在ResNet基础上改进的网络

3.超越了Resnet的网络

4.效率极高的网络squeezenet

5.结合了RNN自动学习网络架构的meta_learning

Summary: 
CNN Architectures 
Case Studies
AlexNet
VGG
GoogLeNet
ResNet

Also....
NiN (Network in Network)
Wide ResNet
ResNeXT
Stochastic Depth
Squeeze-and-Excitation Network
DenseNet
FractalNet
SqueezeNet
NASNet

 

网络的代码实现暂时占坑