对称矩阵及SVD分解

矩阵相似型

    如果矩阵A,B满足$A=P^{-1}BP$则称A和B相似。A和B的特征方程相同，特征值相同。  (类比相似三角形，矩阵的相似也是从不同的视角观察相同的内容。)

假设P是一个坐标系，则A变换是在P坐标系下观察的B的变换（观察B变换在我们标准坐标系下，观察A变换在P坐标系下,A和B本质是同一变换，只是观察的坐标系不同）

1. 对称矩阵

    (一) 对称矩阵的所有不同的特征值对应的特征向量互相垂直。
  假设矩阵A的两个特征向量$v_1,v_2$对应不同的特征值${\lambda }_1,{\lambda }_2。$

证明 $v_1\cdot v_2=0$   (向量之间的点乘，对应的因子相乘再相加)
$$\begin{array}{rl}({\lambda }_1{v}_1)\cdot v_2& =({\lambda }_1{v}_1{)}^T{v}_2=(A{v}_1{)}^T{v}_2=v_1^T{A}^T{v}_2=v_1^{T}A{v}_2\\ & =v_1^T{\lambda }_2{v}_2={\lambda }_2{v}_1^T{v}_2={\lambda }_2{v}_1{v}_2\end{array}$$

$$({\lambda }_1-{\lambda }_2)(v_1\cdot v_2)=0$$
$$v_1\cdot v_2=0$$

1.1 正交对角化

   (二)对称矩阵一定可以被对角化 $A=PD{P}^{-1}$
如果A是对称矩阵 $A=QD{Q}^{-1}$  将每一个特征向量标准化 $A=QD{Q}^T$  故进行了正交对角化
(标准正交矩阵的逆等于标准正交矩阵的转置)
   A是对称矩阵 <—> A可以被正交对角化$A=QD{Q}^T$

2. 奇异值(Singular Value)

若A是一个$m\ast n$的矩阵，则$A^{T}A$是一个$n\ast n$的方针，且对称。

$A^{T}A$ 可以被正交对角化，拥有n个实数特征值$({\lambda }_1,{\lambda }_2,...,{\lambda }_n)$；n个互相垂直的标准特征向量$(v_1,v_2,...,v_n)$。

$${||A{v}_i||}^2=(A{v}_i)\cdot (A{v}_i)={(A{v}_i)}^T\cdot (A{v}_i)={v_i}^T{A}^{T}A{v}_i$$
$$={v_i}^T(A^{T}A{v}_i)={v_i}^T({\lambda }_i{v}_i)$$
$$={\lambda }_i{v_i}^T{v}_i={\lambda }_i{||v_i||}^2={\lambda }_i$$
$A^{T}A$的特征值>=0,
$${\sigma }_i=\sqrt{{\lambda }_i}$$ ${\sigma }_i$称为奇异值，奇异值就是$A{v}_i$的长度。

2.1 奇异值的几何含义

${\lambda }_i$是$A^{T}A$的特征值，$v_i$是$A^{T}A$的特征向量。 则A是列空间的一组正交基 ${\lambda }_i\ne 0$

证明正交性：
$$(A{v}_i)\cdot (A{v}_j)=(A{v}_i{)}^T\cdot (A{v}_j)={v_i}^T{A}^{T}A{v}_j$$
$$={v_i}^T(A^{T}A{v}_j)={v_i}^T({\lambda }_j{v}_j)$$
$$={\lambda }_j{v_i}^T{v}_j={\lambda }_i(v_i\cdot v_j)=0$$

证明{ $A{v}_i$}是A的列空间的一组基：

未完待续……

参考链接-liuyubobobo