机器学习之常用矩阵/向量运算

1. Matrix product (矩阵乘法)

定义: 给定$m\times p$大小的矩阵$A$，$p\times n$大小的矩阵$B$，则矩阵$A$，$B$的乘积为$m\times n$大小的矩阵$C$，计算过程如下，

$C=A\cdot B$

其中，$C_{i,j}={\sum }_{k=1}^p{A}_{i,k}\cdot B_{k,j}$，$1\le i\le m,1\le j\le n$

举例: 给定$2\times 3$大小的矩阵$A=\left[\begin{array}{ccc}0& 1& 2\\ 3& 4& 5\end{array}\right]$，$3\times 2$大小的矩阵$B=\left[\begin{array}{cc}0& 3\\ 1& 4\\ 2& 5\end{array}\right]$，则矩阵$A$，$B$的乘积为$2\times 2$大小的矩阵$C$，计算过程如下，

$C=A\cdot B$

$=\left[\begin{array}{ccc}0& 1& 2\\ 3& 4& 5\end{array}\right]\cdot \left[\begin{array}{cc}0& 3\\ 1& 4\\ 2& 5\end{array}\right]$

$=\left[\begin{array}{cc}0\times 0+1\times 1+2\times 2& 0\times 3+1\times 4+2\times 5\\ 3\times 0+4\times 1+5\times 2& 3\times 3+4\times 4+5\times 5\end{array}\right]$

$=\left[\begin{array}{cc}5& 14\\ 14& 50\end{array}\right]$

2. Hadamard product (哈达马积)

定义: 给定$m\times n$大小的矩阵$A$，$m\times n$大小的矩阵$B$，则矩阵$A$，$B$的Hadamard product为$m\times n$大小的矩阵$C$，计算过程如下，

$C=A⨀B$

其中，$C_{i,j}=A_{i,j}\cdot B_{i,j}$，$1\le i\le m,1\le j\le n$

举例: 给定$2\times 3$大小的矩阵$A=\left[\begin{array}{ccc}0& 1& 2\\ 3& 4& 5\end{array}\right]$，$3\times 2$大小的矩阵$B=\left[\begin{array}{ccc}3& 4& 5\\ 0& 1& 2\end{array}\right]$，则矩阵$A$，$B$的乘积为$3\times 2$大小的矩阵$C$，计算过程如下，

$C=A⨀B$

$=\left[\begin{array}{ccc}0& 1& 2\\ 3& 4& 5\end{array}\right]⨀\left[\begin{array}{ccc}3& 4& 5\\ 0& 1& 2\end{array}\right]$

$=\left[\begin{array}{ccc}0\times 3& 1\times 4& 2\times 5\\ 3\times 0& 4\times 1& 5\times 2\end{array}\right]$

$=\left[\begin{array}{ccc}0& 4& 10\\ 0& 4& 10\end{array}\right]$

3. Dot product (点积)

定义: 给定$1\times n$大小的向量$a$，$1\times n$大小的向量$b$， 则向量$a$，$b$的点积为$1\times 1$大小的数值$c$， 计算过程如下，

$c=a\bullet b$

$={\sum }_{i=1}^n{a}_i{b}_i$

举例: 给定$1\times 3$大小的向量$a=\left(\begin{array}{ccc}0& 1& 2\end{array}\right)$，$1\times 3$大小的向量$b=\left(\begin{array}{ccc}3& 4& 5\end{array}\right)$，则向量$a$，$b$的点积为数值$c$，计算过程如下，

$c=a\bullet b$

$=0\times 3+1\times 4+2\times 5$

$=4+10$

$=14$

4. Cross product (叉积)

定义: 叉积是依赖于欧几里德三维空间的一个度量单位。给定三维空间中$1\times 3$大小的向量$a$和$1\times 3$大小的向量$b$，则向量$a$，$b$的叉积为$1\times 3$大小的向量$c$，计算过程如下，

$c=a\times b$

$=\Vert \begin{array}{c}a\end{array}\Vert \Vert \begin{array}{c}b\end{array}\Vert sin(\theta )\zeta$

其中，$\theta$为向量$a$和向量$b$之间的夹角，$\zeta$为叉积$c$的方向，即右手定则下，向量$a$和向量$b$之间法线的方向。

衍生: 根据叉积的定义，给定三维坐标，$y$，$z$的基坐标分别为$i$，$j$ ，$k$，根据右手定则有，

$i\times j=k$

$j\times k=i$

$k\times i=j$

$j\times i=-k$

$k\times j=-i$

$i\times k=-j$

其中，当$\theta =0$时候，有，

$i\times i=0$

$j\times j=0$

$k\times k=0$

举例一 (向量形式): 给定三维空间中的两个向量$u$，$v$，令$u=u_{1}i+u_{2}j+u_{3}k$，$v=v_{1}i+v_{2}j+v_{3}k$，根据定义，有，

$u\times v=\left(u_{1}i+u_{2}j+u_{3}k\right)\times \left(v_{1}i+v_{2}j+v_{3}k\right)$

$=u_1{v}_{1}i\times i+u_1{v}_{2}i\times j+u_1{v}_{3}i\times k+u_2{v}_{1}j\times i+u_2{v}_{2}j\times j+u_2{v}_{3}j\times k+u_3{v}_{1}k\times i+u_3{v}_{2}k\times j+u_3{v}_{3}k\times k$

$=0+u_1{v}_{2}k-u_1{v}_{3}j-u_2{v}_{1}k+0+u_2{v}_{3}i+u_3{v}_{1}j-u_3{v}_{2}j-u_3{v}_{2}i+0$

$=u_1{v}_{2}k-u_1{v}_{3}j-u_2{v}_{1}k+u_2{v}_{3}i+u_3{v}_{1}j-u_3{v}_{2}i$

$=\left(u_2{v}_3-u_3{v}_2\right)i+\left(u_3{v}_1-u_1{v}_3\right)j+\left(u_1{v}_2-u_2{v}_1\right)k$

举例二 (行列式形式): 给定三维空间中的两个向量$u$，$v$，令$u=u_{1}i+u_{2}j+u_{3}k$，$v=v_{1}i+v_{2}j+v_{3}k$，差积也可以通过构造矩阵，计算行列式而得，如下，

$u\times v=\left|\begin{array}{ccc}i& j& k\\ u_1& u_2& u_3\\ v_1& v_2& v_3\end{array}\right|$

高阶方阵的行列式可以通过根据拉普拉斯定理降维计算而得，如下，

$u\times v=\left|\begin{array}{cc}{u}_2& u_3\\ v_2& v_3\end{array}\right|i-\left|\begin{array}{cc}{u}_1& u_3\\ v_1& v_3\end{array}\right|j+\left|\begin{array}{cc}{u}_1& u_2\\ v_1& v_2\end{array}\right|k$

$=\left(u_2{v}_3-u_3{v}_2\right)i+\left(u_3{v}_1-u_1{v}_3\right)j+\left(u_1{v}_2-u_2{v}_1\right)k$