【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（VGG、NIN）

1.vgg引言

alexnet比lenet更深更大？能带来更好的精度？能不能更深更大？
（1）更多的全连接层【太贵】（2）更多的卷积层（3）讲卷积层组合成块

2.vgg

（1）vgg16包括3个全连接+13个卷积层
（2）CNN感受野计算公式：F(i)=(F(i+1)-1)stride+ksize【概念公式看下方】
（3）亮点：通过堆叠三个33卷积核来代替5*5卷积核需要的参数【减少参数】
（4）Vgg16网络分为两部分：1.卷积池化：提取特征网络结构 2.全连接层：分类网络结构
（5）num_workers是线程数的意思（win一般默认为0）
（6）卷积层参数个数计算方法：卷积核高 * 卷积核宽 * 输入通道数 * 卷积核个数
当前全连接层参数个数计算方法： （上一层神经元个数 + 1） * 当前层神经元个数

注意：
在很多代码中在预处理的阶段会在rgb上减去这三个值，这三个值分别对应这imgnet图像数据集的所有图片的rgb三个通道的均值。

3.NIN引言

全连接层会引起参数非常的多，参数多带来的问题【基本上所有的参数都在全连接层】
（1）占用很大内存（2）占用很大的带宽（3）很容易过拟合

4.NIN

（1）NIN直接不要全连接层【使用1*1的卷积代替】（2）这里的全连接是对像素进行的全连接
（3）全局平均池化层带来的好处和坏处：
好处：
模型复杂度降低了；提升了泛化性；
坏处：
收敛变慢了（alexnet和vgg收敛的快是因为两个全连接层）；多扫两三遍数据无所谓，精度好；

注意：
全局池化层的含义是：池化层的高宽是等于输入的高宽的