斯坦福cs231n课程学习(4)

迁移学习

就是一层层网络中每个节点的权重从一个训练好的网络迁移到一个全新的网络里，而不是从头开始，为每特定的个任务训练一个神经网络。若是从头开始训练，你需要百万级的带标注数据，海量的显卡资源。而若是使用迁移学习，你可以使用Google发布的Inception或VGG16这样成熟的物品分类的网络，只训练最后的softmax层，你只需要几千张图片，使用普通的CPU就能完成，而且模型的准确性不差。

AlexNet

AlexNet由Alex Krizhevsky于2012年提出，夺得2012年ILSVRC比赛的冠军，top5预测的错误率为16.4%，远超第一名。AlexNet采用8层的神经网络，5个卷积层和3个全连接层(3个卷积层后面加了最大池化层)，包含6亿3000万个链接，6000万个 参数和65万个神经元。在两个GPU同时训练完成。

VGG

VGG卷积神经网络是牛津大学在2014年提出来的模型。当这个模型被提出时，由于它的简洁性和实用性，马上成为了当时最流行的卷积神经网络模型。它在图像分类和目标检测任务中都表现出非常好的结果。VGG模型有一些变种，其中最受欢迎的当然是 VGG-16，这是一个拥有16层的模型。

GoogLeNet

一般来说，提升网络性能最直接的办法就是增加网络深度和宽度。参数过多容易过拟合，且增大计算量。GoogLeNet解决上述两个缺点的根本方法是将全连接甚至一般的卷积都转化为稀疏连接。为了既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能，提出了inception的结构。

1. 采用不同大小的卷积核意味着不同大小的感受野，最后拼接意味着不同尺度特征的融合；
2. 之所以卷积核大小采用1、3和5，主要是为了方便对齐。设定卷积步长stride=1之后，只要分别设定pad=0、1、2，那么卷积之后便可以得到相同维度的特征，然后这些特征就可以直接拼接在一起了；
3. 文章说很多地方都表明pooling挺有效，所以Inception里面也嵌入了。
4. 网络越到后面，特征越抽象，而且每个特征所涉及的感受野也更大了，因此随着层数的增加，3x3和5x5卷积的比例也要增加。

1x1卷积核来进行降维

ResNet

残差网络最初的使用是在ResNet网络里。
Residual net(残差网络)：

1. 将靠前若干层的某一层数据输出直接跳过多层引入到后面数据层的输入部分。
2. 意味着后面的特征层的内容会有一部分由其前面的某一层线性贡献。
3. 深度残差网络的设计是为了克服由于网络深度加深而产生的学习效率变低与准确率无法有效提升的问题。