【深度学习学习笔记】数值计算——矩阵

深度学习中总会牵扯到大量的数值计算，且对于计算机视觉而言，其中很大一部分都是对于矩阵进行操作。

对于矩阵而言，卷积是很重要的一个操作，相对于平常函数的卷积：$\int f(\tau )\ast g(x-\tau )d\tau$
矩阵在进行卷积时，与之相类似，利用卷积核从左上角开始取与卷积核尺寸相同的元素进行对应元素相乘再相加。

卷积的方式有三种：full、same、valid
假设一矩阵image尺寸为n×n，卷积核filter尺寸为f×f，则image * filter为：

• full
  对于full而言，卷积核刚刚接触矩阵时就开始进行计算。

  
  

• same
  对于same，是指当filter的中心接触到image时开始进行计算。

  
  

• valid
  对于valid是指filter需全部在image中才可以进行计算。

  
  

我们看到，在进行full和same模式的卷积运算时，卷积核会与超出已有矩阵的范围计算。因此我们需要另一个操作——padding，在已有的矩阵周围补充一些像素点并初始化为零。
若给定padding=p，经过padding之后的图片尺寸变为$(n+2p)\times (n+2p)$。
若要保证padding之后卷积前后尺寸不变，需要：$p=\frac{f-1}{2}$

在进行卷积运算时，还有一项概念——步长stride。
步长是指在卷积核与相应矩阵区域进行卷积之后，下一次计算的区域与本次计算区域的距离。

如上图所示，设stride(s)为2，表格中1表示第一次计算的区域，2表示经过步长=2之后的计算区域。

综上，若一矩阵image尺寸为n×n，卷积核filter尺寸为f×f，令padding=p，stride=s，则image * filter的输出尺寸为：$(\frac{n+2p-f}{s}+1)\ast (\frac{n+2p-f}{s}+1)$

至此，下面介绍矩阵的求导。
矩阵的求导根据法则见：
https://blog.csdn.net/jmh1996/article/details/85040660
有矩阵对元素的求导，矩阵对向量的求导，矩阵对矩阵的求导等等。
具体的总结见：
https://blog.csdn.net/a493823882/article/details/81324037

下面是我对矩阵对向量求导的推导过程。
假设有一矩阵A$$A=\left[\begin{array}{ccc}a11& a12& a13\\ a21& a22& a23\\ a31& a32& a33\end{array}\right]$$有一向量x$$x=\left[\begin{array}{c}x1\\ x2\\ x3\end{array}\right]$$则令y为$$y=Ax=\left[\begin{array}{c}a11\times x1+a12\times x2+a13\times x3\\ a21\times x1+a22\times x2+a23\times x3\\ a31\times x1+a32\times x2+a33\times x3\end{array}\right]$$那么根据Jacobian矩阵：

$J_{i,j}=\frac{\partial }{\partial x_j}f(x{)}_i$

即y第一个元素对x1、x2、x3分别求导为输出的第一列，第二个元素对x1、x2、x3分别求导为输出的第二列，第三个元素对x1、x2、x3分别求导为输出的第三列，以此类推。
那么y对x的导数为$$\left[\begin{array}{ccc}a11& a21& a31\\ a12& a22& a32\\ a13& a23& a33\end{array}\right]$$即y=Ax中，$\frac{\partial y}{\partial x}=A^T$

第一次写学习笔记，希望也相信自己可以坚持下去。
种一棵树最好的时间是十年前，其次是现在。