卷积神经网络

1.卷积作用及特点

卷积是一种数学运算，在数字图像处理中，运用色谱算子和拉普拉斯算子等卷积核对图像进行卷积，从而实现提取图像的边缘特征。因此我们可以使用不同的卷积核来提取图片的不同的特征。但我们又不知道对于庞杂的图片，我们需要提取图片的哪部分特征，所以将卷积放入神经网络中，让它不断的学习，自己来更新卷积核，找到提取心仪的特征所需要的最合适的卷积核。（这里我突然对深度学习有了一点感悟，他就像是一个求函数的未知参数的过程，通过数据集，不断更新参数，找到最合适的参数，以适应普遍的状况，也即泛化）。

2.卷积方式推导

卷积过程图示：1.对一个id*id的图片用fd*fd的卷积核进行卷积之后，得到的feature map  的尺寸是cd*cd cd= id-fd+1；也即卷积之后图片的尺寸会缩小，所以如果不希望图片缩小，可以在原始图片周围pading 0. 

2.卷积核是一个三维的，他的第三个维度对应前一层输入的通道数，也即前一层输入几个图片，他的第三维就是几，这个三维的卷积核会对所有的输入图像的作用进行叠加，从而使所有的图像发生作用。这一个三维的卷积核作用于前一层的所有输出，得到的是一个feature map 。而这一层有多少个卷积核（神经元）决定这一层会输出几个feature map。

整体卷积过程

3.正向传播，反向传播

正向传播：通常的卷积神经网络，基本都是这样

图片-> 卷积层 ->激活->pooling层->flaten ->全连接层

pooling层：是对提取的特征图进行下采样，可以压缩数据量，也可以防止过拟合。

反向传播：

用loss function 对全连接层，pooling层，conv层求梯度，更新w b ，当然pooling层没有可以更新的权值。

4.ufldl中卷积实现

5.soft max函数，normal层

7.熵，loss function