降维方法之SVD

降维方法之SVD

|深度之眼笔记自总结|

| — |

|Author: 华逸聪|

SVD相关数学基础

矩阵对角化

方阵的对角化P^TAP=B其中A为对角矩阵，P为单位正交矩阵。

所以$P^{T}P=P{P}^T=I,P^T=P^{-1}$，一般矩阵一般不能但是对称矩阵一定能对角化，特别是对称正定矩阵，\lambda_i全是正数。

即$A^T=A,X^{T}A\ge 0,\forall X为半正定，>0为正定$

因为P^T=P{-1}
$$设A=\left[\begin{array}{cccc}{\lambda }_1& \cdots & \cdots & \cdots \\ \cdots & {\lambda }_2& \cdots & \cdots \\ \cdots & \cdots & \ddots & \dots \\ \cdots & \cdots & \cdots & {\lambda }_n\end{array}\right]$$
$$B=[u_1+u_2+\cdots +u_n]+\left[\begin{array}{cccc}{\lambda }_1& \cdots & \cdots & \cdots \\ \cdots & {\lambda }_2& \cdots & \cdots \\ \cdots & \cdots & \ddots & \dots \\ \cdots & \cdots & \cdots & {\lambda }_n\end{array}\right]+\left[\begin{array}{c}{u}_1\\ u_2\\ ⋮\\ u_n\end{array}\right]$$

$B={\lambda }_1{u}_1{u}_1^T+{\lambda }_2{u}_2{u}_2^T+\cdots +{\lambda }_n{u}_n{u}_n^T$

原来B需要n^2个参数，分解成只要n个数

面试题：矩阵压缩表示最小n+1,只保留以上的第一项

一般矩阵的SVD分解

$(A^{T}A{)}_{n\ast n}=U^T{D}_{1}V$

$(A{A}^T{)}_{m\ast n}=U^T{D}_{2}V$

可得：

$$A=V^T\left[\begin{array}{cccc}{\lambda }_1& \cdots & \cdots & \cdots \\ \cdots & {\lambda }_2& \cdots & \cdots \\ \cdots & \cdots & \ddots & \dots \\ \cdots & \cdots & \cdots & \cdots \end{array}\right]V$$

令$V^T=(v_1{v}_2,\dots ,v_n),U^T=(u_1,u_2,\dots ,u_n),A={\lambda }_1\frac{1}{2}{v}_1{u}_1^T+{\lambda }_2\frac{1}{2}{u}_2{v}_2^T+\cdots$

所以图形的压缩最小需要m+n+1个，当存储量为(m+n+1)个*k时，误差为
$$error=1-\frac{{\sum }_{i=1}^n{\lambda }_i}{{\sum }_{i=1}^{min(m,n)}{\lambda }_i}$$