第2章 线性代数

1. 标量、向量、矩阵和张量

• 标量（scalar）：数

• 向量（vector）：一列数
  x = [ x 1 x 2 . . . x n ] x= \begin{bmatrix}x_1 \\ x_2 \\ . \\ . \\ . \\ x_n\end{bmatrix} x= ​x1​x2​...xn​​ ​

• 矩阵（matrix）：二维数组

• 张量（tensor）：超过二维的数组

• 转置（transpose）

• 主对角线（main diagonal）

• 广播（broadcasting）：矩阵和向量相加过程中，复制向量的方式
  $$C=A+b$$

  [ 1 2 3 4 5 6 7 8 9 ] + [ 1 2 3 ] = [ 1 2 3 4 5 6 7 8 9 ] + [ 1 2 3 1 2 3 1 2 3 ] = [ 2 4 6 5 7 9 8 10 12 ] \begin{bmatrix}1 \quad 2 \quad 3 \\ 4 \quad 5 \quad 6 \\ 7 \quad 8 \quad 9\end{bmatrix} + \begin{bmatrix}1 \quad 2 \quad 3 \end{bmatrix} = \begin{bmatrix}1 \quad 2 \quad 3 \\ 4 \quad 5 \quad 6 \\ 7 \quad 8 \quad 9\end{bmatrix} + \begin{bmatrix}1 \quad 2 \quad 3 \\ 1 \quad 2 \quad 3 \\ 1 \quad 2 \quad 3\end{bmatrix} = \begin{bmatrix}2 \quad 4 \quad 6 \\ 5 \quad 7 \quad 9 \\ 8 \quad 10 \quad 12\end{bmatrix} ​123456789​ ​+[123​]= ​123456789​ ​+ ​123123123​ ​= ​24657981012​ ​

2. 矩阵和向量相乘

• 重要公式

  1. $$A(B+C)=AB+AC$$

  2. $$A(BC)=(AB)C$$

  3. $$AB\ne BA$$

  4. $$(AB{)}^T=B^T{A}^T$$

  5. $$x^{T}y=(x^{T}y{)}^T=y^{T}x$$

• 线性方程组
  $$Ax=b$$
  其中$A\in R^{m\ast n}$是一个已知矩阵，$b\in R^m$是一个已知向量，$x\in R^n$是一个我们要求解的未知向量

3. 单位矩阵和逆矩阵

• 矩阵逆（matrix inversion）

• 单位矩阵（identity matrix）
  $$A^{-1}A=A{A}^{-1}=I_n$$

4. 线性相关和生成子空间

• 如果逆矩阵$A^{-1}$存在，那么$Ax=b$肯定对于每一个向量$b$恰好存在一个解

• 但是，对于方程组而言，对于向量$b$的某些值，有可能不存在解，或者存在无限多个解

• 存在多于一个解但是少于无限多个解的情况是不可能发生的

  • 因为如果$x$和$y$都是某方程组的解，则$z=\alpha x+(1-\alpha )y$也是方程的解

• 线性组合（linear combination）
  A x = [ A 1 , 1 x 1 + A 1 , 2 x 2 + . . . A 1 , n x n A 2 , 1 x 1 + A 2 , 2 x 2 + . . . A 2 , n x n . . . A m , 1 x 1 + A m , 2 x 2 + . . . A m , n x n ] = x 1 [ A 1 , 1 A 2 , 1 . . . A m , 1 ] + x 2 [ A 1 , 2 A 2 , 2 . . . A m , 2 ] + . . . x n [ A 1 , n A 2 , n . . . A m , n ] = ∑ i = 1 n x i A : , i Ax = \begin{bmatrix} {A_{1,1}x_1 + A_{1, 2}x_2 + ... A_{1, n}x_n} \\ {A_{2,1}x_1 + A_{2, 2}x_2 + ... A_{2, n}x_n } \\ . \\ . \\ . \\ {A_{m,1}x_1 + A_{m, 2}x_2 + ... A_{m, n}x_n} \end{bmatrix} = x_1 \begin{bmatrix} A_{1,1} \\ A_{2,1}\\ . \\ . \\ . \\ A_{m,1} \end{bmatrix} + x_2 \begin{bmatrix} A_{1,2} \\ A_{2,2}\\ . \\ . \\ . \\ A_{m,2} \end{bmatrix} + ... x_n \begin{bmatrix} A_{1,n} \\ A_{2,n}\\ . \\ . \\ . \\ A_{m,n} \end{bmatrix} = \sum_{i=1}^{n} x_iA_{:, i} Ax= ​A1,1​x1​+A1,2​x2​+...A1,n​xn​A2,1​x1​+A2,2​x2​+...A2,n​xn​...Am,1​x1​+Am,2​x2​+...Am,n​xn​​ ​=x1​ ​A1,1​A2,1​...Am,1​​ ​+x2​ ​A1,2​A2,2​...Am,2​​ ​+...xn​ ​A1,n​A2,n​...Am,n​​ ​=i=1∑n​xi​A:,i​

• 一组向量的生成子空间（span）：原始向量线性组合后所能抵达的点的集合

  • 即$x$

• 确定$Ax=b$是否有解，相当于确定向量$b$是否在$A$列向量的生成子空间中

  • 这个特殊的生成子空间被称为$A$的列空间（column space）或者$A$的值域（range）
  • 即$x$组成的集合

• 线性相关（linear dependence）：一组向量中的任意一个向量都能表示成其他向量的线性组合

• 线性无关（linearly indepent）：一组向量中的任意一个向量都不能表示成其他向量的线性组合

• 为使矩阵可逆，需要保证$Ax=b$对于每一个$b$至多有一个解

  • 即矩阵必须是一个方阵（square）

• 奇异（singular）矩阵：一个列向量线性相关的方阵

5. 范数

• 范数（norm）：将向量映射到非负值的函数

• 范数$L^p$
  $$||x|{|}_p=(\sum _i|x_i{|}^p{)}^{\frac{1}{p}}$$
  其中，$p\in R$，$p\ge 1$

• 向量$x$的范数：从原点到点$x$的距离

• 满足以下性质

  • $$f(x)=0\Rightarrow x=0$$

  • $$f(x+y)\le f(x)+f(y)$$

    • 三角不等式（triangle inequality）

  • $$\forall \alpha \in R,f(\alpha x)=|\alpha |f(x)$$

• $L^0$范数：向量中非0的元素的个数

  • L0范数很难优化求解

• $L^1$范数：向量中各个元素绝对值之和

• $L^2$范数：向量各元素的平方和然后求平方根

  • 欧几里得范数（Euclidean norm）
  • 简化为$||x||$

• $L^{\infty }$范数：向量中具有最大幅值的元素的绝对值

  • 最大范数（Max norm）
  • $||x|{|}_{\infty }=\underset{i}{\max }|x_i|$

• $L^F$范数：矩阵范数

  • Frobenius范数（Frobenius norm）
  • $||A||F = \sqrt{\displaystyle \sum{i,j} A_{i,j}^2} $

• 两个向量的点积可以用范数来表示
  $$x^{T}y=||x|{|}_2||y|{|}_{2}cos\theta$$
  其中，$\theta$为$x$和$y$之间的夹角

6. 特殊类型的矩阵和向量

• 单位向量（unit vector）：具有**单位范数（unit norm）**的向量

• 如果 $x^{T}y=0$，那么向量$x$和向量$y$互相正交（orthogonal）

• 标准正交（orthonormal）：向量正交，且范数均为1

• 对角矩阵（diagonal matrix）：只在主对角线上含有非零元素，其他位置都是零

  • 字母表示为$diag(v)$

• 对称矩阵（symmetric matrix）：转置和自己相等的矩阵

• 正交矩阵（orthogonal matrix）：行向量和列向量分别标准正交的方阵
  $$\begin{gathered} A^{T}A=A{A}^T=I \\ {A}^{-1}=A^T \end{gathered}$$

7. 特征分解

• 方阵$A$的特征向量（eigenvector）：与$A$相乘后相当于对该向量进行缩放的非零向量$v$：
  $$Av=\lambda v$$
  其中，标量$\lambda$称为这个特征向量对应的特征值（eigenvalue）

  • 左特征向量（left eigenvector）
    $$v^{T}A=\lambda v^T$$

  • 右特征向量（right eigenvector）
    $$Av=\lambda v$$

• 特征分解（eigendecomposition）：将矩阵分解成一组特征向量和特征值

  • 矩阵$A$具有$n$个线性无关的特征向量$V=[v^{(1)},...,v^{(n)}]$，对应着$n$个特征值$\lambda =[{\lambda }_1,...,{\lambda }_n]$

  • 矩阵$A$的特征分解
    $$A=Vdiag(\lambda )V^{-1}$$

  • 在$A$是实对称矩阵的情况下，$V$是正交矩阵

    • $A$看作是沿方向 $v^{(i)}$延展${\lambda }_i$倍的空间

• 正定（positive definite）：所有特征值都是正数的矩阵
  $$x^{T}Ax=0\Rightarrow x=0$$

• 半正定（positive semidefinite）：所有特征值都是非负数的矩阵
  $$\forall x,x^{T}Ax\ge 0$$

• 负定（negative definite）：所有特征值都是负数的矩阵称

• 半负定（negative semidefinite）：所有特征值都是非正数的矩阵

8. 奇异值分解

• 奇异值分解（Singular Value Decomposition，SVD）：将矩阵分解为奇异向量（singular vector）和奇异值（singular value）

• 每个实数矩阵都有一个奇异值分解，但不一定都有特征分解

  • 非方阵的矩阵没有特征分解，这时我们只能使用奇异值分解。

• 矩阵$A$的奇异值分解
  $$A=UD{V}^T$$
  其中，$A$是一个$m\ast n$的矩阵，$U$是一个$m\ast m$的矩阵，$D$是一个$m\ast n$的矩阵，$V$是一个$n\ast n$矩阵

  • $U$和$V$都是正交矩阵，$D$是对角矩阵

  • $D$对角线上的元素称为矩阵$A$的奇异值（singular value）

  • $U$的列向量称为左奇异向量（left singular vector）

    • $A{A}^T$的特征向量

  • $V$的列向量称右奇异向量（right singular vector）

    • $A^{T}A$的特征向量

  • $A$的非零奇异值：$A{A}^T$或$A^{T}A$特征值的平方根

9. Moore-Penrose伪逆

• Moore-Penrose伪逆（Moore-Penrose pseudoinverse）

• 矩阵$A(m\ast n)$的伪逆的定义
  $$A^{+}=\underset{\alpha \to 0}{\lim }(A^{T}A+\alpha I{)}^{-1}{A}^T$$

• 计算伪逆的实际算法没有基于这个定义，而是使用下面的公式
  $$A^{+}=V{D}^{+}{U}^T$$

  • 其中，矩阵$U$、$D$和$V$是矩阵$A$奇异值分解后得到的矩阵
  • $D^{+}$：非零元素取倒数之后再转置得到

• 当$m⩽n$时，使用伪逆求解线性方程是众多可能解法中的一种

  • $x=A^{+}y$是方程所有可行解中$||x|{|}_2$最小的一个

• 当$m>n$时，可能没有解

  • 通过伪逆得到的$x$使得$Ax$和$y$的$||Ax-y|{|}_2$最小

10. 迹运算

• 迹运算：矩阵对角元素的和
  $$Tr(A)=\sum _i{A}_{i,i}$$

• 另一种描述矩阵Frobenius范数的方式
  $$||A|{|}_F=\sqrt{Tr(A{A}^T)}$$

• 迹运算在转置运算下是不变的
  $$Tr(A)=Tr(A^T)$$

• 多个矩阵相乘得到的方阵的迹，和将这些矩阵中的最后一个挪到最前面之后相乘的迹是相同的
  $$Tr(ABC)=Tr(CAB)=Tr(BCA)$$

11. 行列式

• 行列式：将方阵$A$映射到实数的函数
  • 记作$det(A)$
  • 等于矩阵特征值的乘积
• 行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少
• 如果行列式是$0$，那么空间至少沿着某一维完全收缩了，使其失去了所有的体积
• 如果行列式是$1$，那么这个转换保持空间体积不变