【机器学习】《动手学深度学习 PyTorch版》李沐深度学习笔记（神经网络卷积池化）

第一章 卷积层

1.对全连接层使用平移不变性（核不变）和局部性得到卷积层
2.卷积层将输入和卷积核进行交叉相关（卷积其实是交叉相关的180°翻转），加上偏移后得到输出
3.核矩阵和偏移是可学习的参数（核也在动态更新）
4.核矩阵的大小是超参数
5.全连接层权重会随着输入的变大会变得超级大，卷积不会产生这个问题
（含有全连接层的网络输入数据的大小应该是固定的，这是因为全连接层和前面一层的连接的参数数量需要事先确定，不像卷积核的参数个数就是卷积核大小，前层的图像大小不管怎么变化，卷积核的参数数量也不会改变，但全连接的参数是随前层大小的变化而变的，如果输入图片大小不一样，那么全连接层之前的feature map也不一样，那全连接层的参数数量就不能确定， 所以必须实现固定输入图像的大小。）
6.计算输出的高度核宽度：输出的高度=输入的高度-核的高度+1 输出的宽度=输入的宽度-核的宽度+1
7.输出的高度=向下取整(输入的高度-核的高度+填充的高度+步幅)/步幅 输出的宽度=向下取整(输入的宽度-核的宽度+填充的宽度+步幅)/步幅
8.填充一般设置为核-1 这样能保证输入和输出的大小相等 步幅的选择是因为计算量太大了进行的约束
9.Googlenet核心设计：使用小的卷积核
10.底层可以使用大的卷积核 上边一般还是使用3*3的卷积核

第二章 卷积层中的多输入多输出通道

1.一般多个输入通道，输出通道一般只有一个
2.我们可以有多个三维卷积核，每个核生成一个输出通道CoC1KhKw
3.11的卷积层非常的受欢迎，它不识别空间模式，知识融合通道（是根据卷积核的个数，实现通道的融合）
4.输出通道数是卷积层的超参数（输出通道数等于上一层的卷积核个数）
5.每个输入通道有独立的二维卷积核，所有通道结果相加得到一个输出通道结果
6.每个输出通道有独立的三维卷积核

第三章 池化层

1.池化层分为最大池化和平均池化
2.卷积层对位置非常的敏感（i，j），池化层就是再削弱这种敏感
3.经常在池化层使用一个stride=2，使得输出变小，计算变少
4.为什么池化用的越来越少了？（上边两条是池化层的优点）是因为现在的卷积层一般都是加了一个stride，所以池化的功能减弱了。后续会去数据进行处理（旋转、平移、放大、放小做很多操作）使其不会过拟合，淡化了池化层的作用。

第四章 简单的卷积网络（LeNet）

1.view不改变内存存储，reshape改变内存存储方式（两者作用差不多）
2. 一共输出16个通道数据（为什么通道数越来越多呢？这是因为长和宽越来越小，我们希望增加通道数来尽可能保留输入的特征）
3.卷积输出层通道数 = 卷积核的个数 每个核的通道数和初入通道数相同
4.conv2d、conv3d（医学图像、气象、卫星）