LA@ML特征分解@奇异值分解@伪逆

特征分解

许多数学对象可以通过将它们分解成多个组成部分或者找到它们的一些属性而更好地理解，这些属性是通用的，而不是由我们选择表示它们的方式产生的。

• 例如，整数可以分解为质因数。我们可以用十进制或二进制等不同方式表示整数 12，但是 12 = 2 × 2 × 3 永远是对的。从这个表示中我们可以获得一些有用的信息，比如 12 不能被 5 整除，或者 12 的倍数可以被 3 整除。

• 正如我们可以通过分解质因数来发现整数的一些内在性质，我们也可以通过分解矩阵来发现矩阵表示成数组元素时不明显的函数性质。

• 特征分解（eigendecomposition）是使用最广的矩阵分解之一，即我们将矩阵分解成一组特征向量和特征值。

• 方阵 A 的 特征向量（eigenvector）是指与 A 相乘后相当于对该向量进行缩放的非零向量v ：

  • 右特征向量$Av=\lambda v,v\ne 0$
  • 左特征向量$v^{T}A=\lambda v^T,v\ne 0$

• 假设矩阵 A 有 n 个线性无关的特征向量 $v^{(1)},\cdots ,v^{(n)}$，对应着特征值${\lambda }_1,\cdots ,{\lambda }_n$。

• 我们将特征向量连接成一个矩阵，使得每一列是一个特征向量：

  • $V=(v^{(1)},\cdots ,v^{(n)})$

• 将特征值连接成一个向量 $\lambda =[{\lambda }_1,...,\lambda n{]}^{\top }$。

• 因此 A 的 特征分解（eigendecomposition）可以记作

  • A = V Λ V − 1 可行性分析 : A V = V Λ V Λ = ( v ( 1 ) , ⋯   , v ( n ) ) ( λ 1 λ 2 ⋱ λ n ) = ( λ 1 v ( 1 ) , ⋯   , λ n v ( n ) ) A V = A ( v ( 1 ) , ⋯   , v ( n ) ) = ( A v ( 1 ) , ⋯   , A v ( n ) ) A V = V A A v ( i ) = λ i v ( i ) , i = 1 , 2 , ⋯   , n λ i , v ( i ) 确实是所构造的 A 的特征值及其对应的特征向量 Λ = d i a g ( λ ) A = V\Lambda V^{−1} \\可行性分析: AV=V\Lambda \\ V\Lambda=(v^{(1)}, \cdots , v^{(n)}) \begin{pmatrix} {{\lambda _1}} & {} & {} & {} \cr {} & {{\lambda _2}} & {} & {} \cr {} & {} & \ddots & {} \cr {} & {} & {} & {{\lambda _n}} \cr \end{pmatrix} =(\lambda_1{v^{(1)}},\cdots,\lambda_n{v^{(n)}}) \\ AV=A(v^{(1)}, \cdots , v^{(n)}) =(Av^{(1)}, \cdots , Av^{(n)}) \\ AV=VA \\ Av^{(i)}=\lambda_i{v^{(i)}},i=1,2,\cdots,n \\ \lambda_i,v^{(i)}确实是所构造的A的特征值及其对应的特征向量 \\ \Lambda=diag(λ) A=VΛV−1可行性分析:AV=VΛVΛ=(v(1),⋯,v(n)) ​λ1​​λ2​​⋱​λn​​ ​=(λ1​v(1),⋯,λn​v(n))AV=A(v(1),⋯,v(n))=(Av(1),⋯,Av(n))AV=VAAv(i)=λi​v(i),i=1,2,⋯,nλi​,v(i)确实是所构造的A的特征值及其对应的特征向量Λ=diag(λ)

• 我们已经看到了构建具有特定特征值和特征向量的矩阵，能够使我们在目标方向上延伸空间。

• 然而，我们也常常希望将矩阵 分解（decompose）成特征值和特征向量。

  • 分解条件和方法可以参见矩阵相似和对角化的相关知识
  • n阶方阵A有n个线性无关特征向量$({\alpha }_1,\cdots ,{\alpha }_n)$是A和一个对角阵相似($P^{-1}AP=\Lambda )$的充要条件

• 这样可以帮助我们分析矩阵的特定性质，就像质因数分解有助于我们理解整数。

• 虽然任意一个实对称矩阵 A 都有特征分解，但是特征分解可能并不唯一。

• 如果两个或多个特征向量(${\alpha }_1^{(i)},{\alpha }_2^{(i)},\cdots$)拥有相同的特征值(${\lambda }_i$,设其重数为$n_i$)，那么在由这些特征向量产生的生成子空间V中的任意一组正交向量都(仍然)是该特征值对应的特征向量。

• 因此，我们可以等价地从这些特征向量中构成 Q 作为替代。

• 按照惯例，我们通常按降序排列 Λ 的元素。在该约定下，特征分解唯一当且仅当所有的特征值都是唯一的。

几何示意图

• 
  • 特征向量和特征值的作用效果。特征向量和特征值的作用效果的一个实例。
  • 在这里，矩阵A 有两个标准正交的特征向量，对应特征值为 ${\lambda }_1$ 的 $v^{(1)}$以及对应特征值为 ${\lambda }_2$ 的 $v^{(2)}$
  • (左) 画出了所有的单位向量 $u\in R^2$ 的集合，构成一个单位圆。
  • (右) 画出了所有的 $Au$ 点的集合。通过观察 A 拉伸单位圆的方式，我们可以看到它将 $v^{(i)}$ 方向的空间拉伸了 ${\lambda }_i$ 倍。

二次型和生成子空间

• 矩阵的特征分解给了我们很多关于矩阵的有用信息。

• 矩阵是奇异的当且仅当含有零特征值。

• 实对称矩阵的特征分解也可以用于优化二次方程 $f(x)=x^{\top }Ax$

• 限制 $\Vert x{\Vert }_2=1$,当 x 等于 A 的某个特征向量时，f 将返回对应的特征值。

  • $$\begin{gathered} f({\alpha }_i)={\alpha }_i^{T}A{\alpha }_i={\alpha }_i^T{\lambda }_i{\alpha }_i={\lambda }_i{\alpha }_i^T{\alpha }_i={\lambda }_i||{\alpha }_i|{|}_2^2 \\ ={\lambda }_i\times 1={\lambda }_i,(||{\alpha }_i||=1) \end{gathered}$$

  • 可见,在限制条件下，函数 $f$ 的最大值就是最大特征值，最小值是最小特征值。

• 所有特征值都是正数的矩阵被称为 正定（positive definite）；所有特征值都是非负数的矩阵被称为 半正定（positive semidefinite）。同样地，所有特征值都是负数的矩阵被称为 负定（negative definite）；所有特征值都是非正数的矩阵被称为 半负定（negative semidefinite）。

• 半正定矩阵受到关注是因为它们保证 $\forall x,x\top Ax\ge 0$。此外，正定矩阵还保证 $x^{\top }Ax=0\Rightarrow x=0$。

奇异值分解

• 还有另一种分解矩阵的方法，被称为 奇异值分解（singular value decomposition, SVD）
  • Singular value decomposition - Wikipedia
  • 奇异值分解（singular value decomposition）是线性代数中一种重要的矩阵分解，在信号处理、统计学等领域有重要应用。
  • 奇异值分解在某些方面与对称矩阵或厄米矩阵基于特征向量的对角化类似。
  • 然而这两种矩阵分解尽管有其相关性，但还是有明显的不同。
  • 对称阵特征向量分解的基础是谱分析，而奇异值分解则是谱分析理论在任意矩阵上的推广。

理论数学风格的描述

• 假设M是一个m×n阶矩阵，其中的元素全部属于域K，也就是实数域或复数域。

• 如此则存在一个分解使得

  • $M=U\Sigma V^{\ast }$
  • $M=U\Sigma V^{\ast }=U\Sigma {\overline{V}}^T$

• 其中U是m×m阶酉矩阵；(复数范围内的对称阵推广)

  • $U{U}^{\ast }=E$,即$U(\overline{U}{)}^T=E$;而不是$U{U}^T=E$

• Σ是m×n阶非负实数对角矩阵；

• 而$V^{\ast }$即V的共轭转置，是n×n阶酉矩阵(注意和伴随矩阵区分)。

• 这样的分解就称作M的奇异值分解。

• 实数对角阵$\Sigma =D({\lambda }_1,\cdots ,{\lambda }_n)$对角线上的元素${\lambda }_i={\Sigma }_{i,i}$即为M的奇异值

  • 为了和方阵对角阵$\Lambda =diag({\lambda }_1,\cdots ,{\lambda }_n)$区分开来,使用$\Sigma$来表示更一般的对角矩阵

• 常见的做法是将奇异值由大而小排列。如此Σ便能由M唯一确定了。

  • U和V仍然不能确定。

奇异值分解和特征分解的联系

• $M^{\ast }M=V{\Sigma }^{\ast }{U}^{\ast }U\Sigma V^{\ast }=V({\Sigma }^{\ast }\Sigma )V^{\ast }$
• $M{M}^{\ast }=U\Sigma V^{\ast }V{\Sigma }^{\ast }{U}^{\ast }=U(\Sigma {\Sigma }^{\ast })U^{\ast }$
• Note:对角方阵$\Lambda$一定是对称阵(${\Lambda }^T=\lambda$),但是不一定为正交阵$A^{T}A=E$
• 记$A=M^{\ast }M$,$\Omega ={\Sigma }^{\ast }\Sigma$,$V=({\beta }_1,\cdots ,{\beta }_n)$
  • 则$AV=V(\Omega )V^{\ast }V=V\Omega E=V\Omega$
  • $A=V\Omega V^{-1}$,从而可知对角方阵$\Omega =diag({\lambda }_1,\cdots ,{\lambda }_n)$
    • $A{\beta }_i={\lambda }_i{\beta }_i,i=1,2,\cdots ,n$
  • 也就是右奇异向量${\beta }_i$是$A=M^{\ast }M$的关于${\lambda }_i$的特征向量
• 类似的,可以推出:左奇异向量${\alpha }_i,i=1,2,\cdots ,m$是方阵$B=M{M}^{\ast }$的关于${\theta }_i$的特征向量
  • 其中$\Lambda =\Sigma {\Sigma }^{\ast }=diag({\theta }_1,\cdots ,{\theta }_m)$

机器学习风格的描述

• 将矩阵分解为 奇异向量（singular vector）和 奇异值（singular value）。

• 通过奇异值分解，我们会得到一些与特征分解相同类型的信息。

• 然而，奇异值分解有更广泛的应用。因为每个实数矩阵都有一个奇异值分解，但不一定都有特征分解。

  • 例如，非方阵的矩阵没有特征分解，这时我们只能使用奇异值分解。

• 我们使用特征分解去分析矩阵 A 时，得到特征向量构成的矩阵 V和特征值构成的向量 λ，我们可以重新将 A 写作

  • $A=Vdiag(\lambda )V^{-1}$

• 奇异值分解是类似的，只不过这回我们将矩阵 A 分解成三个矩阵的乘积

  • $A=UD{V}^{\top }$
  • 假设 A 是一个 m × n 的矩阵，那么 U 是一个 m × m 的矩阵，D 是一个 m × n的矩阵，V 是一个 n × n 矩阵
  • 这些矩阵中的每一个经定义后都拥有特殊的结构。
    • $A,D\in {\mathbb{R}}^{m\times n}$
    • $U,A{A}^T\in {\mathbb{R}}^{m\times m}$
    • $V,A^{T}A\in {\mathbb{R}}^{n\times n}$
  • 矩阵 U 和 V 都定义为正交矩阵，而矩阵 D 定义为对角矩阵(但不一定是方阵)
    • $U^{T}U=E_{n(U)}$
    • $V^{T}V=E_{n(V)}$
  • 对角矩阵 D 对角线上的元素被称为矩阵 A 的 奇异值（singular value）。
  • 矩阵U 的列向量$({\alpha }_1,\cdots ,{\alpha }_n)$被称为 左奇异向量（left singular vector）
  • 矩阵 V 的列向量$({\beta }_1,\cdots ,{\beta }_n)$被称 右奇异向量（right singular vector）。

• 事实上，我们可以用与 A 相关的特征分解去解释 A 的奇异值分解。

  • A 的 左奇异向量是 $A{A}^{\top }$ 的特征向量。

  • A 的 右奇异向量是 $A^{\top }A$ 的特征向量。

  • A 的非零奇异值是 $A^{\top }A$ 特征值的平方根，同时也是$A{A}^{\top }$ 特征值的平方根。

  • SVD 最有用的一个性质可能是拓展矩阵求逆到非方矩阵上。

对角矩阵的记法

• 使用 diag 函数，如 $diag(a_1,a_2,\dots ,a_n)$ 表示一个以 $a_1,a_2,\dots ,a_n$ 为主对角线元素的对角矩阵。
• 使用希腊字母 $\Lambda$ 或 $\Delta$ 表示一个对角矩阵，如 $\Lambda =diag({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n)$。
• $[a_{ij}{]}_{n\times n}=\{\begin{array}{ll}{a}_{ii},& i=j\\ 0,& i\ne j\end{array}$

酉矩阵unitary matrix

• Unitary matrix - Wikipedia

• 酉矩阵 (wikipedia.org)

• 在线性代数中，酉矩阵（又译作幺正矩阵，英语：unitary matrix）指其共轭转置恰为其逆矩阵的复数方阵，数学描述如下：

  • $$\begin{gathered} U^{\ast }U=U{U}^{\ast }=I_n \\ {U}^{-1}=U^{\ast } \end{gathered}$$

  • $U{U}^{\ast }=E$,即$U(\overline{U}{)}^T=E$;而不是$U{U}^T=E$

    • 不过,当U是实矩阵时$\overline{U}=U$,这种情况下,$U{U}^{\ast }=U{U}^T$

  • 其中 $U^{\ast }$ 是 U 的共轭转置

    • $u_{ij}=a+bk$
    • $\overline{u_{ij}}=a-bk$
    • $u_{ij}^{\ast }=\overline{u_{ji}}$

  • $I_n$ 是 n×n 单位矩阵。

  • 酉矩阵是正交矩阵（元素均为实数）在复数的推广

    • $A^{T}A=I_n$
    • $U^{\ast }U=I_n$

• 例

  • U是一个正交的复矩阵:
    $$\begin{gathered} U=\left[\begin{array}{cc}-\frac{i}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{i}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right] \\ \overline{U}=\left[\begin{array}{cc}\frac{i}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{i}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right] \\ {U}^{\ast }=(\overline{U}{)}^T=\left[\begin{array}{cc}\frac{i}{\sqrt{2}}& -\frac{i}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right] \end{gathered}$$

  • $$\begin{gathered} U^{\ast }U=\left[\begin{array}{cc}\frac{i}{\sqrt{2}}& -\frac{i}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]\left[\begin{array}{cc}-\frac{i}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{i}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right] \\ U{U}^{\ast }=\left[\begin{array}{cc}-\frac{i}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{i}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]\left[\begin{array}{cc}\frac{i}{\sqrt{2}}& -\frac{i}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array}\right]=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right] \end{gathered}$$

性质

• $U^{-1}=U^{\ast }$

  • 酉矩阵U是可逆矩阵,其逆矩阵$U^{-1}$等于其共轭转置矩阵$U^{\ast }$

• $|{\lambda }_i|=1$

  • 酉矩阵 U 的所有特征值 ${\lambda }_i$ 都是绝对值等于 1 的复数：
  • 如果将U限制在实矩阵内,可以断言所有U的所有特征值${\lambda }_i$也满足$|{\lambda }_i|=1$

• $|U|=1$

  • 酉矩阵$U$的行列式为1

Moore-Penrose 伪逆

矩阵的逆和线性方程组的解(review)

• 对于非方矩阵而言，其逆矩阵没有定义。
• 我们希望通过矩阵 A 的左逆 B 来求解线性方程:$Ax=y$ ,等式两边左乘左逆 B 后，我们得到$x=By$.
• 取决于问题的形式，我们可能无法设计一个唯一的映射将 A 映射到 B。
  • 如果矩阵 A 的行数大于列数，那么上述方程可能没有解。
  • 如果矩阵 A 的行数小于列数，那么上述矩阵可能有多个解。

伪逆

• Moore-Penrose 伪逆（Moore-Penrose pseudoinverse）使我们在这类问题上取得了一定的进展。
• 矩阵 A 的伪逆定义为：$A^{+}=\underset{\alpha \searrow 0}{\lim }(A^{\top }A+\alpha I{)}^{-1}{A}^{\top }$
• 计算伪逆的实际算法没有基于这个定义，而是使用下面的公式：
  • $A^{+}=V{D}^{+}{U}^{\top }$
  • 其中，矩阵 $U,D,V$ 是矩阵 A奇异值分解后得到的矩阵。
    • $A=UD{V}^T$
  • 对角矩阵 D 的伪逆$D^{+}$ 是其非零元素取倒数之后再转置得到的。

应用

• 当矩阵 A 的列数多于行数时(线性方程组有解)
  • 使用伪逆求解线性方程是众多可能解法中的一种。
  • 特别地，$x=A^{+}y$ 是方程所有可行解中欧几里得范数 $\Vert x{\Vert }_2$ 最小的一个。
• 当矩阵 A 的行数多于列数时，可能没有解。
  • 在这种情况下，通过伪逆得到的 $x$使得 $Ax$ 和 $y$ 的欧几里得距离 $\Vert Ax-y{\Vert }_2$ 最小。

迹运算

• $Tr(A)={\sum }_i{A}_{ii}$

  • 使用迹运算可以代替掉表达式中的某些求和号

• 迹运算可以让许多运算清楚的表示:

  • 例如描述矩阵的Frobenius 范数:

  • $$||A|{|}_F=\sqrt{\sum _{i,j}(a_{ij}{)}^2}=\sqrt{Tr(A{A}^T)}$$

  • 迹运算在转置运算下是不变的:$Tr(A)=Tr(A^T)$

• 设$A_1,\cdots ,A_n$可以连续相乘,且$A_{i_1},\cdots ,A_{i_n}$也是可以连续乘的,那么$Tr({\prod }_i{A}_i)=Tr({\prod }_j{A}_{i_j})$

  • 其中$i_1,\cdots ,i_n$表示$1,\cdots ,n$的一种排列(共有$n!$中可能)
  • 对于本情景,可能远没有$n!$那么多,应为不是所有的排列后能够依然能够执行连续乘法

• 类似的矩阵乘法

  • $$\begin{gathered} Tr(\prod _{i=1}^n{F}^{(i)})=Tr(F^{(1)}\prod _{i=2}^n{F}^{(i)})=Tr(F^{(n)}\prod _{i=1}^{n-1}{F}^{(i)}) \\ {F}^{(i)}中的i表示第i个矩阵 \end{gathered}$$

    • $A\in {\mathbb{R}}^{m\times n}$,
    • $B\in {\mathbb{R}}^{n\times m}$
    • $Tr(AB)=Tr(BA)$

  • 即使循环置换后矩阵乘积的形状变了,但是妓院算的结果依然不变

• 另一个有用的事实是标量在迹运算后仍然是它自己：$a=Tr(a)$。

方阵行列式和特征值

• 行列式，记作 det(A)，是一个将方阵 A 映射到实数的函数。
• 行列式等于矩阵特征值的乘积。行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少。
  • 如果行列式是 0，那么空间至少沿着某一维完全收缩了，使其失去了所有的体积。
  • 如果行列式是 1，那么这个转换保持空间体积不变。

​