ResNet

可看论文：Deep Residual Learning for Image Recognition
ResNet网络中的亮点：
1.超深的网络结构(突破1000层)
2.提出residual模块
3.使用Batch Normalization加速训练(丢弃dropout)

Batch Normalization：
BN的目的是使我们的一批(Batch)feature map(特征矩阵)每个channel所对应的维度满足均值为0，方差为1的分布规律。
通过该方法能够加速网络的收敛并提升准确率。

注：
1.主分支与shortcut的输出特征矩阵shape必须相同
2.1X1的卷积核用来降维和升维(深度channel)，不会改变特征矩阵的高和宽
3.步长stride=2 宽高会减少一半
4.参数数目=输入通道数X输出通道数X卷积核长宽
5.所使用的残差结构越多，参数节省的越多
6.实线残差结构输入输出特征矩阵shape一样，虚线残差结构输入输出shape不同
迁移学习：
迁移学习(Transfer learning) 顾名思义就是就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。
1.能够快速地训练出一个理想的结果
2.当数据集较小时，也能训练出理想的效果，注意使用别人的预训练模型参数时，要注意别人的预处理方式。
常见的迁移学习的方式：
1.载入权重后训练所有参数
2.载入权重后只训练最后几层参数
3.载入权重后在原网络基础上再添加一层全连接层，仅训练最后一个全连接层