第30课奇异值分解

奇异值分解：简称，是矩阵最终和最好的分解，分解的因子是正交矩阵，对角矩阵，正交矩阵，任意矩阵都有这种奇异值分解

对称正定矩阵性质，由于对称，它们的特征向量是正交的

因为不正交，所以不研究这种情况

式分解是怎么来的？该分解说明什么？

在行空间中找个典型向量，然后变换到列空间的某向量，所以

行空间中的一个向量变换到列空间的某处，要找到行空间的一组正交基，变换到列空间一组正交基

首先在行空间找到一组正交基，通过格接姆-施密特正交法

与标准正交，为缩放因子，是需要求的

如果零空间存在，找出一组基
$目标\begin{cases}Av_1=\sigma_1u_1\\Av_2=\sigma_2u_2\end{cases} \\ \begin{eqnarray} Av=u\varepsilon \to A=u\varepsilon v^{-1}=u\varepsilon v^T \tag{3} \end{eqnarray}\\ \underbrace{B=A^TA}_{对称且正定}= \overbrace{v\underbrace{\varepsilon^T}_{对角阵}u^T}^{A^T} \overbrace{u\underbrace{\varepsilon}_{对角阵} v^T}^{A} = v\varepsilon^2v^T = \underbrace{v}_{特征向量} \underbrace{\begin{bmatrix}\sigma_1^2&&\\&\ddots&\\&&\sigma_r^2\end{bmatrix}}_{特征值} \underbrace{v^T}_{特征向量} = Q\Lambda Q^T \\ \to A^TA = Q\Lambda Q^T\\ v是B的特征向量$
如何找出？
$\begin{eqnarray} C=AA^T=u\varepsilon v^Tv\varepsilon^Tu^T = u\varepsilon^2u^T= \underbrace{u}_{特征向量} \underbrace{\begin{bmatrix}\sigma_1^2&&\\&\ddots&\\&&\sigma_r^2\end{bmatrix}}_{特征值} \underbrace{u^T}_{特征向量} \tag{4} \end{eqnarray}\\ u是C的特征向量$

的特征向量：
$v_1=\begin{bmatrix}1\\1\end{bmatrix}, v_2=\begin{bmatrix}1\\-1\end{bmatrix} 单位化 \to \begin{bmatrix}\frac{1}{\sqrt{2}}\\\frac{1}{\sqrt{2}}\end{bmatrix}, \begin{bmatrix}\frac{1}{\sqrt{2}}\\-\frac{1}{\sqrt{2}}\end{bmatrix}$

$Bv_1=\lambda_1v_1 \to \begin{bmatrix}25&7\\7&25\end{bmatrix}\begin{bmatrix}1\\1\end{bmatrix} = \lambda_1\begin{bmatrix}1\\1\end{bmatrix} \to \begin{bmatrix}25+7=32\\7+25=32\end{bmatrix} = 32\begin{bmatrix}1\\1\end{bmatrix} \to \lambda_1=32\\ Bv_2=\lambda_2v_2 \to \begin{bmatrix}25&7\\7&25\end{bmatrix}\begin{bmatrix}1\\-1\end{bmatrix}= \lambda_2\begin{bmatrix}1\\-1\end{bmatrix} \to \begin{bmatrix}25-7=18\\7-25=-18\end{bmatrix} = 18\begin{bmatrix}1\\-1\end{bmatrix} \to \lambda_2=18$

$A=u\varepsilon v^T = \underbrace{\begin{bmatrix}1&0\\0&1\end{bmatrix}}_{u} {\underbrace{\begin{bmatrix}\sqrt{32}&0\\0&\sqrt{18}\end{bmatrix}}_{\varepsilon}}^2 \underbrace{ \begin{bmatrix} \frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}} \end{bmatrix} }_{v^T}$

因为与的特征值相同 ,的特征值特征

例2

待补。。。

以上2个例子总结：

在线性代数的4 个子空间中选出合适的基，

，是行空间的标准正交基(维数是秩)

，是列空间的标准正交基(维数是秩)

然后用，它们是零空间的标准正交基(维数)

，它们是零空间的标准正交基(维数m-r)

然后需要用到特征值，因为这些基使得矩阵对角化，并且，当我们选择基的时候，向量之间没有耦合的，中也没有耦合的，乘以每个对应一个的方向，因此，它们是这四个基本子空间的合适的基

第30课 奇异值分解

你可能感兴趣的:(第30课 奇异值分解)

第30课奇异值分解

你可能感兴趣的:(第30课奇异值分解)