卷积神经网络（CNN）相关的基础知识
卷积神经网络（Convolutional Neural Network,CNN）是一类包含卷积计算且具有深度结构的前馈神经网络，广泛地运用在图像识别，语音识别、自然语言处理、医学影像，甚至物理学和气象学等很多领域，几乎也是目前很多图像与视觉识别竞赛的基础。
前面介绍了全连接的神经网络，那为什么又出现卷积神经网络呢？因为在全连接的时候我们都将输入的数据进行了压平处理（都转成了一维，比如前面介绍的MNIST中的手写数字图片(1,28,28)-->(通道,高度,宽度)），但这样存在一些缺点，丢失了通道等一些特征信息，所以最好还是能够把输入数据的特征信息能够表现出来，这个时候就用到卷积神经网络了，对全连接层不是很熟悉的可以看本人以前的文章：全连接的多层神经网络结构(MultiLayerNet)
https://blog.csdn.net/weixin_41896770/article/details/121451390
既然是卷积神经网络，就少不了卷积层(Convolution层)和池化层(Pooling层)，卷积神经网络的结构：Conv-->ReLU-->Pooling-->Conv-->ReLU-->Pooling-->Conv-->ReLU-->Affine-->ReLU-->Affine-->Softmax
从这个结构可以看出，增加了卷积层和池化层，其余还是和全连接层一样，类似乐高积木的搭建。在靠近输出的层中使用了之前的“Affine-->ReLU”组合，在最后输出层使用之前的“Affine-->Softmax”组合，这些都是CNN的比较常见的结构。
相关的一些术语：
特征图(feature map)：就是卷积层的输入输出数据，输入数据叫做输入特征图，输出数据叫做输出特征图
卷积运算：卷积层进行的处理就是卷积运算，把输入数据应用滤波器(核)，相当于图像处理中的“滤波器运算”，直观看图：
填充(padding)：进行卷积层处理之前，有时需要向输入数据的周围填入固定数据(比如0等)，在卷积运算中经常用到。在本文后面有附带“填充”的具体用法。
步幅(stride)：应用滤波器的位置间隔为步幅，或说窗口滑动的间隔。
针对输入数据(H,W)在经过滤波器(FH,FW)，填充(P)和步幅(S)之后的输出大小(OH,OW)，我们可以通过下面公式计算获得：
OH=1+(H+2P-FH)/S
OW=1+(W+2P-FW)/S
比如输入大小:(4,4),滤波器大小:(3,3),填充:1,步幅:1，输出大小为
OH=1+(4+2*1-3)/1=4
OW=1+(4+2*1-3)/1=4
有时候会出现无法除尽的情况，这个时候可以取整数或者四舍五入，让结果不出现小数。
卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量，类似于一个前馈神经网络的神经元。
池化（Pooling）
池化的意思就是降采样，减少了输出的特征，或者简单来说就是一个池子装水，作用可以沉淀杂质，让水质变得更清澈。池化有最大池化(Max Pooling)，平均池化(Average Pooling)等，一般都用最大池化，是将输入的图像划分成若干个区域(邻域)，然后求每个区域的最大值。因为发现，这个特征它所在的精确位置没有与其他特征的相对位置的关系重要，所以移动或旋转之类都影响不大，平移不变性（Transitional invariance）。
填充(padding)：进行卷积层处理之前，有时需要向输入数据的周围填入固定数据(比如0等)，是numpy对数组边缘的数值填充，在卷积神经网络中使用很广泛，主要是在层级传输过程中防止图像形状变化或者说信息的丢失，所以进行一个填充来处理。
示例：
n=np.arange(3,11)#[3, 4, 5, 6, 7, 8, 9, 10]
np.pad(n,(0,2),'constant')#[ 3 4 5 6 7 8 9 10 0 0]
np.pad(n,(1,2),'constant')#[ 0, 3, 4, 5, 6, 7, 8, 9, 10, 0, 0]
可以看出，圆括号的数字代表的数组n前后填充的个数，constant是常量填充，默认为0
转成二维或多维的情况
n1=n.reshape(2,4)
array([[ 3, 4, 5, 6],
[ 7, 8, 9, 10]])
np.pad(n1,[(1,0),(1,2)],'constant')
array([[ 0, 0, 0, 0, 0, 0, 0],
[ 0, 3, 4, 5, 6, 0, 0],
[ 0, 7, 8, 9, 10, 0, 0]])
一维填充(1,0)宽度，二维填充(1,2)宽度，之后的形状就是 (3, 7)转置(transpose)：对数组的转置，如果是矩阵，即行列的调换，三维以及以上的维度，那么就是索引位置对应维度的调换。
示例：
x=np.arange(12).reshape(2,6)
array([[ 0, 1, 2, 3, 4, 5],
[ 6, 7, 8, 9, 10, 11]])
x.transpose() #等价于 x.T
array([[ 0, 6],
[ 1, 7],
[ 2, 8],
[ 3, 9],
[ 4, 10],
[ 5, 11]])
x=np.arange(12).reshape(2,3,2)
array([[[ 0, 1],
[ 2, 3],
[ 4, 5]],
[[ 6, 7],
[ 8, 9],
[10, 11]]])
x.transpose(0,2,1)#将2维和3维调换，形状将变成(2,2,3)
array([[[ 0, 2, 4],
[ 1, 3, 5]],
[[ 6, 8, 10],
[ 7, 9, 11]]])