机器学习基础 2：矩阵乘法以及求导

向量、矩阵、张量

向量：一维数组
矩阵：二维数组
张量：N 维数组 什么是张量(tensor)？

特殊矩阵

对角矩阵 $$\left[\begin{array}{ccc}{a}_{11}& 0& 0\\ 0& a_{22}& 0\\ 0& 0& a_{33}\end{array}\right]$$
单位矩阵 $$\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

行列式（determinant）

  根据 某考研视频，行列式定义如下：

$$\left|\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right|=a_{11}{a}_{22}-a_{12}{a}_{21}$$
$$\left|\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right|=a_{11}{a}_{22}{a}_{33}+a_{12}{a}_{23}{a}_{31}+a_{21}{a}_{32}{a}_{13}-a_{13}{a}_{22}{a}_{31}+a_{12}{a}_{21}{a}_{33}+a_{23}{a}_{32}{a}_{11}$$
二阶行列式由2个二维向量（$(a_{11},a_{12})$ 与 $(a_{21},a_{22})$）组成，其结果为两个向量为邻边的平行四边形的面积

三阶行列式由3个三维向量组成，其结果为三个向量为邻边的平行六面体的体积

  对上述情形进行扩展：

$$\left|\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right|$$ $n$ 阶行列式由 $n$ 个 $n$ 维向量组成，其结果是以这 $n$ 个向量的 $n$ 维图形的 $n$ 维体积
为方便起见，定义 $D_{n\times n}=\left|\begin{array}{c}{A}_{n\times n}\end{array}\right|$

  行列式有以下性质

• 某行元素全为零 $\Rightarrow$ $D=0$

• 两行元素对应成比例 $\Rightarrow$ $D=0$
• 交换两行元素 $\Rightarrow$ $D$ 变号  (互换)
• 某行元素乘以 $k$ $\Rightarrow$ $D$ 乘以 $k$  (倍乘)
• 某行元素乘以 $k$ 后加到另一行 $\Rightarrow$ $D$ 不变 (倍加)
• 单行可拆 $\Rightarrow$ 只有一行元素不同的行列式可以相加  (可加性)
• 以上行的性质均适用于列

  行列式有以下重要结论

• 当 $D̸=0$ 时，向量之间相互独立 (线性无关)

• 当 $D=0$ 时，向量中至少一个多余 (线性相关)

###矩阵（matrix）
  根据 某考研视频，矩阵的本质为：

表面上，是一个表达系统信息的数表
本质上，用秩来研究矩阵

  秩的定义

给出 $A_{m\times n}$ 若有
$$\{\begin{array}{rl}\exists k阶子式不为0& \Rightarrow \exists k个独立向量\\ \forall k+1阶子式全为0& \Rightarrow \forall k+1个向量中至少有一个多余\end{array}$$ 有且仅有 $k$ 个独立向量独立，故秩是组成 $A$ 的独立向量的个数，$A$ 的秩 表示为$r(A)=k$，

  考察一种特殊形式的矩阵——阶梯矩阵

$$\begin{gathered} A=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ 0& a_{22}& a_{13}\\ 0& 0& a_{33}\end{array}\right] \\ B=\left[\begin{array}{ccc}1& 0& a_{13}\\ 0& 1& 0\\ 0& 0& 1\end{array}\right] \end{gathered}$$
行阶梯矩阵 $A$ 满足以下条件：

• 若有全0行，全在下方

• 从左向右，出现连续 0 的个数自上而下严格单调递增

最简行阶梯矩阵 $B$ 满足以下条件：

• 台角位置元素均为 1

• 台角正上方元素全为 0

  最简行阶梯矩阵的一个最重要的特例就是单位矩阵 $E$：

对角线上的元素为 1，其他元素均为0
$$\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& & ⋮\\ 0& 0& \cdots & 1\end{array}\right]$$

  可以看出，行阶梯矩阵的秩为台阶数目，将普通矩阵转换为阶梯矩阵的方法——初等行变换：

• 互换$$\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right]\to \left[\begin{array}{ccc}{a}_{21}& a_{22}& a_{13}\\ a_{11}& a_{12}& a_{23}\end{array}\right]$$

• 倍乘$$\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{23}\end{array}\right]\to \left[\begin{array}{ccc}k\cdot a_{11}& k\cdot a_{12}& k\cdot a_{23}\end{array}\right]$$
• 倍加$$\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{13}\end{array}\right]\to \left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ k\cdot a_{11}+a_{21}& k\cdot a_{12}+a_{22}& k\cdot a_{13}+a_{23}\end{array}\right]$$

  下面引入一个重要定理：

任何可逆矩阵（$D̸=0$），一定可以通过初等行变换，化成同阶单位矩阵

   将初等变换应用到单位矩阵 E 上，可以得到初等矩阵。
   每个初等变换，可以使用一个初等矩阵来等价表示。
   因此多个初等变换可以合并成一个方程。

矩阵运算

   同型矩阵之间矩阵与标量之间可以进行普通的 $+,-,\times, \div $ 四则运算

$$\begin{gathered} \left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\pm \left[\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\end{array}\right]\to \left[\begin{array}{cc}{a}_{11}\pm b_{11}& a_{12}\pm b_{12}\\ a_{21}\pm b_{21}& b_{22}\pm a_{22}\end{array}\right] \\ \left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\pm k\to \left[\begin{array}{cc}{a}_{11}\pm k& a_{12}\pm k\\ a_{21}\pm k& a_{22}\pm k\end{array}\right] \end{gathered}$$

   列数与行数向对应的矩阵之间可以进行矩阵乘法

$$\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right]\times \left[\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\\ b_{31}& b_{32}\end{array}\right]\to \left[\begin{array}{cc}{a}_{11}{b}_{11}+a_{12}{b}_{21}+a_{13}{b}_{31}& a_{11}{b}_{12}+a_{12}{b}_{22}+a_{13}{b}_{32}\\ a_{21}{b}_{11}+a_{22}{b}_{21}+a_{23}{b}_{31}& a_{21}{b}_{12}+a_{22}{b}_{22}+a_{23}{b}_{32}\end{array}\right]$$
向量的点积是矩阵乘法的特殊情况，此外，对于任意方阵 $X\in R^{n\times n}$ 都满足 $X\times E\to X$
$$\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\times \left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\to \left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]$$

   矩阵转置 $A^T$

$$\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right]\to \left[\begin{array}{cc}{a}_{11}& a_{21}\\ a_{12}& a_{22}\\ a_{13}& a_{23}\end{array}\right]$$
一些常用性质$$\begin{gathered} (A\pm B{)}^T=A^T\pm B^T \\ (A\times B{)}^T=B^T\times A^T \\ (A^T{)}^T=A \\ (k\ast A{)}^T=k\ast A^T \\ \left|\begin{array}{c}{A}^T\end{array}\right|=\left|\begin{array}{c}A\end{array}\right| \end{gathered}$$

   矩阵求逆 $A^{-1}$

找到一个 $A^{-1}$

向量与方程组

方程组 $$\{\begin{array}{rl}{a}_{11}{x}_1& +a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1& +a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ \cdots & \cdots \\ a_{m1}{x}_1& +a_{m2}{x}_2+\cdots +a_{mn}{x}_n=b_m\end{array}$$
对应的向量组$$x_1\left[\begin{array}{c}{a}_{11}\\ a_{21}\\ ⋮\\ a_{m1}\end{array}\right]+x_2\left[\begin{array}{c}{a}_{12}\\ a_{22}\\ ⋮\\ a_{m2}\end{array}\right]+\cdots +x_n\left[\begin{array}{c}{a}_{1n}\\ a_{2n}\\ ⋮\\ a_{mn}\end{array}\right]=\left[\begin{array}{c}{b}_{1n}\\ b_{2n}\\ ⋮\\ b_{mn}\end{array}\right]$$
向量组简化$$x_1{\alpha }_1+x_2{\alpha }_2+\cdots +x_n{\alpha }_n=\beta$$
可见：方程组的解 $x$，就是描述一个向量 $\beta$ 与一组向量 $\alpha$ 的表示系数
可以继续简化为由向量 ${\alpha }_1,\cdots ,{\alpha }_n$组成的系数矩阵、数$x_1,\cdots ,x_n$组成未知数矩阵、自由项矩阵 $\beta$ 组成的形式
$$A\times x=\beta$$

定性研究

• 相关性问题（有无多余向量）
  $$\{\begin{array}{rl}\exists 一个元素不全为0的向量x使得A\times x=0& （有非零解，且必有无穷多个）\to {\alpha }_1,\cdots ,{\alpha }_n线性相关\\ 若A\times x=0成立，必须满足x元素全为0& （无非零解）\to {\alpha }_1,\cdots ,{\alpha }_n线性无关\end{array}$$其中 $x_i̸=0$ 对应的系数向量 ${\alpha }_i$ 就是多余向量
   
• 表示性问题（表达出多余向量）
  $$\{\begin{array}{rl}\exists 一个x使得A\times x=\beta （有解）& \to \beta 可以由{\alpha }_1,\cdots ,{\alpha }_n线性表出\\ ̸\exists 任何一个x使得A\times x=\beta （无解）& \to \beta 不能由{\alpha }_1,\cdots ,{\alpha }_n线性表出\end{array}$$定义系数矩阵与自由项矩阵的组合为增广矩阵 $(A|\beta )$，当 $r(A)=r(A|\beta )$ 时 $\beta$ 是多余的；当$r(A)+1=r(A|\beta )$ 时 $\beta$ 不是多余的
   
• 代表性问题（极大无关组）
  定义一组向量 ${\alpha }_{i1},\cdots ,{\alpha }_{ir}$，满足：
  - 这组向量之间线性无关
  - 取自某个向量组 $A=[{\alpha }_1,\cdots ,{\alpha }_s]$
  - $A$ 中任一向量都可以由这组向量线性表出

则称这组向量是 $A$ 的一个极大线性无关组，这线性无关组
 

• 等价性问题（等价向量组）
  给定两个同维向量组$A=[{\alpha }_1,\cdots ,{\alpha }_s]$ 与 $B=[{\beta }_1,\cdots ,{\beta }_r]$
  - 若 $A$ 中所有向量可以由 $B$ 中的向量线性表出，则则称 $A$ 可由 $B$ 线性表出
  - 若 $B$ 中所有向量可以由 $A$ 中的向量线性表出，则则称 $B$ 可由 $A$ 线性表出
  - 上面两点同时成立，则称 $A$ 等价于 $B$

特征值与二次型

  矩阵$A$的特征值与特征向量：

对于$A_{n\times n}$ 若存在数 $\lambda$ 与非零向量 $\xi$ 使得 $A\xi =\lambda \xi$，则称 $\lambda$ 为 $A$ 的特征值，$\xi$ 为 $A$ 属于 $\lambda$ 的特征向量

  下面给出求解特征值的方法：

根据上述定义，可以整理一个齐次方程组：
$$\lambda \xi -A\xi =(\lambda E-A)\xi =0$$由于 $\xi$ 是非零向量，因此该方程有非零解，故系数矩阵中存在线性相关的系数向量，因此可以得到下面的特征方程组：
$$rank(\lambda E-A)<n\Rightarrow |\lambda E-A|=0$$
解该方程的就可以得到（一个或多个）特征值 $\lambda$，代回原方程即可解出对应的 $\xi$

  相似对角化：

若存在可逆矩阵 $D$ 使得 $D^{-1}AD=\Lambda$（$\Lambda$ 是对角阵），则称 $A\sim \Lambda$ （$A$相似于$\Lambda$）

  下面分析求相似对角化的方法：

根据上述定义，可以整理得到：
$$\begin{gathered} D^{-1}AD=\Lambda \Rightarrow AD=D\Lambda \Rightarrow \\ A({\xi }_1,\cdots ,{\xi }_n)=({\xi }_1,\cdots ,{\xi }_n)\left[\begin{array}{cccc}{\lambda }_1& 0& \cdots & 0\\ 0& {\lambda }_2& \cdots & 0\\ ⋮& ⋮& \cdots & ⋮\\ 0& 0& \cdots & {\lambda }_n\end{array}\right]\Rightarrow \\ \forall A{\xi }_i={\lambda }_i{\xi }_i(i=1,\cdots ,n) \end{gathered}$$ 不难看出，要得到满足这一条件的 $\lambda$ 和 $\xi$ 对，只要求解特征方程即可

  正交矩阵定义：

若矩阵 $P$ 满足 $P{P}^T=E$，则称 $P$ 为正交矩阵

  正交矩阵性质：

$$\begin{gathered} \left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\times \left[\begin{array}{cc}{a}_{11}& a_{21}\\ a_{12}& a_{22}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]\Rightarrow \\ \left[\begin{array}{c}{\alpha }_1\\ {\alpha }_2\end{array}\right]\times \left[\begin{array}{cc}{\alpha }_1& {\alpha }_2\end{array}\right]=\left[\begin{array}{cc}\Vert {\alpha }_1{\Vert }^2& {\alpha }_1\cdot {\alpha }_2\\ {\alpha }_2\cdot {\alpha }_1& \Vert {\alpha }_2{\Vert }^2\end{array}\right] \end{gathered}$$ 从上面可看出，若矩阵 $P_{n\times n}$ 是正交阵，则组成该矩阵的的向量 $\alpha$ 有如下性质：
$$\{\begin{array}{rl}\Vert {\alpha }_i{\Vert }^2=0（单位向量）& i=1,\cdots ,n\\ {\alpha }_i\perp {\alpha }_j（相互正交）& j=1,\cdots ,n且j̸=i\end{array}$$因此，这一组向量 $\alpha$ 构成一组标准正交基
此外，正交矩阵天然具有以下性质：$P^{-1}=P^T$

  函数的二次型：

$$f(x_1,x_2,x_3)=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

  函数的相似对角化：

$$f(x_1,x_2,x_3)=\left[\begin{array}{ccc}{\lambda }_1& 0& 0\\ 0& {\lambda }_2& 0\\ 0& 0& {\lambda }_3\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$

可逆矩阵

  可逆矩阵的定义

对于$A_{n\times n}$ 与 $B_{n\times n}$，若 $AB=E$ 则 $A、B$可逆，且有 $BA=E、A^{-1}=B、B^{-1}=A、AB=BA$

  一些性质

$$\begin{gathered} (A^{-1}{)}^{-1}=A \\ (k{A}^{-1})=\frac{1}{k}{A}^{-1} \\ (AB{)}^{-1}=B^{-1}{A}^{-1} \\ (A^T{)}^{-1}=(A^{-1}{)}^T \\ |A^{-1}|=\frac{1}{|A|} \end{gathered}$$

初等矩阵

  初等矩阵的定义

单位矩阵$E$ 仅经过一次初等变换得到的矩阵，分为三种：
互换阵$E_{ij}$、倍乘阵$E_i(k)$、倍加阵$E_{ij}(k)$

  一些性质

$$\begin{gathered} E_{ij}^{-1}=E_{ij} \\ {E}_i(k{)}^{-1}=E_i(\frac{1}{k}) \\ {E}_{ij}(k{)}^{-1}=E_{ij}(-k) \end{gathered}$$

进行行初等变换，相当于左乘以一和初等矩阵
进行列初等变换，相当于右乘以一个初等矩阵