2019/6/3CS231n课程笔记（卷积神经网络）

卷积

1、卷积神经网络vs深度神经网络

训练卷积层，因为卷积层更能保持输入的空间结构。对于这一点，我的理解是：卷积神经网络处理图片的时候是将整幅图都作为输入，不会破坏图的这种结构，而用普通的深层神经网络，就是在利用每个像素的信息单独的进行处理，破坏了图像像素之间的信息。

深度神经网络 卷积神经网络

2、对于常见大小的一些卷积核，如何选择padding才能保证卷积的结果保持原图像的大小不变呢？

3*3的卷积核，padding=1；5*5的卷积核，padding=2；7*7的卷积核，padding=3

3、图像卷积到底是怎么进行计算相加的？

padding、stride、filter、input分别为p、s、f、n

padding是在原图片外围加若干圈像素值，stride是卷积核在图像上移动的步长，filter是卷积核，filter和input上对应位置做点乘，得到的若干个值相加映射到output上面的一个位置。（动态图可以看这篇作者的blog：https://blog.csdn.net/qq_38906523/article/details/80520950）

4、特征的处理

从图片输入到最后的一系列过程中，若干的conv和relu对图像进行处理，低层的卷积结果得到边缘信息；中层的得到稍丰富的边角、斑点信息；高层特征得到就是更丰富的斑点特征信息了，总之得到的是从简单到复杂的特征序列。每一个格子都是在展示了输入应该会有的样子，使得输出最大的激活函数。

5、关于需要多少的问题

6、关于stride的选择问题

这个要综合考虑，涉及到参数的个数，步长大了相当于对图像的降采样多了，需要的参数个数就会少些（相比步长较小的情况）

7、总结：

池化

1、receptive field

所谓感受野就是卷积核在处理图片的时候所对应的图片的区域大小，卷积核的大小对应着感受野的大小（对于普通的卷积而言的，不适用于空洞卷积的情况……）

2、池化的作用

为了让最后的处理数据尽可能的小，这样所需要的参数就少了，也能解决规定区域的不变性问题。

3、池化的常见配置

在池化的时候不使用padding，常见的卷积池化组合f=2,S=2或者f=3,S=2。

全连接

把所有的结果连成一个向量进行操作。

demo的地址：https://cs.stanford.edu/people/karpathy/convnetjs/demo/cifar10.html

这demo真6~