关于对称矩阵的特征值分解

关于对称矩阵的特征值分解

特征向量:Ax = λx
其中A是方阵,非零向量x是A的针对于特征值λ的特征向量(明显,kx也是针对于λ的特征向量,k∈ R)

若A有n个线性无关的特征向量,组成V = {v1,v2,···,vn},对应地有λ = {λ1,λ2,···,λn}
则A的特征分解可以记作:A = V diag(λ) V^(-1)

特别地,当A是实对称矩阵时,其特征值与特征向量都在实数范围内(有些矩阵的特征值与特征向量会拓展到复数),于是有:

A = Q diag(λ) Q'

其中Q是特征向量组成的正交矩阵
,Q’ = Q^(-1),特征值diag(λ)i,i 对应于特征向量Q:,i
于是此时我们可以将A看作是沿各个特征向量方向延展特征值倍的空间,一个向量左乘矩阵A就相当于将向量在A的特征向量反向拉伸特征值倍

具体地来说:向量在特征向量方向拉伸意思也就是说,向量在特征方向上的投影拉伸特征值λ倍,接下来就看看怎么得出这样一个结论

我们向假设有一个向量u,令其左乘矩阵A,得到Au = Qdiag(λ)Q’u
为了更表达更加清楚,我把它展开如下:(写这种公式真的很累)
关于对称矩阵的特征值分解_第1张图片
这只是我按照自己的思路推的,看似应该是对的?我之前找过相关资料,都是按照相似矩阵变换的角度来进行解释的,但是我也没太搞明白,觉得说不清楚,就索性按照自己的想法来了一次

所以在最后得到的结果中,我们来单独看看一项:
在这里插入图片描述
这是u向量在特征向量 qi上的投影的对应特征值λi倍,再乘以特征向量;于是结果很明显了,将这样的每一项加起来就是之前提到的将原向量u按照特征方向拉伸特征值倍得到的特征向量。

关于对称矩阵的特殊性:
1.一般的n阶方阵能对角化的充分必要条件是有n个线性无关的特征向量
2.一般的n阶方阵n个特征值互不相等的必要条件是,其与对角矩阵相似

3.对称矩阵的特征值必为实数,必存在正交矩阵Q,使得Q^(-1)AQ = Q’AQ = diag(λ),Q为特征向量组成的矩阵
4.对称矩阵的两特征值λ1,λ2不等,那对应的特征向量必正交

5.矩阵奇异的的充分必要条件是存在0特征值

由第3点我们可以看出对称矩阵无论如何也会存在一组正交的特征向量组,即使存在某一个特征值λ是一个重根,这就导致了一个很有意思的事情:特征分解可能不唯一。
之前我们所说的特征向量组成的矩阵Q,其内部是按照对称矩阵A对角化后得到的diag(λ)来排列的,顺序是从左至右按照dialg(λ)对角线上的特征值对应的特征向量依次排列;所以——重根对应的特征向量是可以相互交换顺序的。

再啰嗦一下下前文关于按照相似矩阵思路来理解特征值分解的拉伸效果的困惑,没兴趣的可以不用看了
A = Qdiag(λ)Q^(-1)
Au = Qdiag(λ)Q^(-1)u
由于左乘矩阵相当于换一组基底(矩阵列向量为基底),而这里也很特殊的是:Q^(-1)和Q一样都是一个正交矩阵,于是就等于是说换了一组标准正交基,而原来的坐标也是相对于标准正交基来说的,所以说Q^(-1)u这次换基只是对坐标轴进行了一系列的旋转翻转,相对地,对于Q也是一样
而diag(λ)则恰恰相反,左乘它没有作出任何旋转翻转仅仅是进行了拉伸


再来看看全过程:
(1)u左乘Q-1进入另一个向量空间,变换成一个以Q-1的列向量为基底(而非特征向量组),坐标为u的向量
(2)再继续左乘diag(λ),本质上还是一次线性变换,也是换基底,也就是进行了伸缩,此时基底为diag(λ)Q-1的列向量组,坐标仍然为u
(3)最后再左乘Q变换回来,


A与diag(λ)是相似的,既然相似就会存在相同点,这个相同的就是线性变换,即A与diag(λ)是在不同基底之下的同一线性变换(应该可以这么说吧,我不是数学专业)。所以总的可以说特征向量指定了方向,特征值指定了伸缩的大小
大概我就只能这样子说了,想要了解更详细,推荐看一看:如何理解矩阵特征值与 特征向量
等我完完全全捋清楚的时候,后续还会完善,也欢迎路过的大佬知道的话点拨

话又说回来,并不是所有的矩阵都像实对称矩阵这么特殊,那就要用到奇异值分解了

你可能感兴趣的:(机器学习,线性代数,机器学习)