十二章 相似矩阵即二次型

内积的定义及性质

定义
设有n维向量

image.png

称Ix，y]为向量x与y的内积.

说明
1.n（n>4）维向量的内积是3维向量数量积的推广，但是没有3维向量直观的几何意义.
2.内积是向量的一种运算如果x，y都是列向量，内积可用矩阵记号表示为：
[x，yl=xTy.

image.png

向量的长度及性质

定义

image.png

image.png

正交向量组的概念及求法

1正交的概念
当x，y]=0时，称向量x与y正交。由定义知若x=0，则x与任何向量都正交
2正交向量组的概念
若一非零向量组中的向量两两正交，则称该向量组为正交向量组.
3正交向量组的性质
定理1若n维向量ax，az，a，是一组两两正交的非零向量则ai，a…a，线性无关.
4向量空间的正交基
若a1，a，a，是向量空间的一个基，且a1，a2，
…，a，是两两正交的非零向量组，则称a1，a…，a，是向量空间的正交基.
5规范正交基
定义3设n维向量e1，ea…，e，是向量空间VVc R"）的一个基，如果e1，e2…，e，两两正交且都是单位向量，则称e1，ea，e，是V的一个规范正交基.
6求规范正交基的方法
设a1，aa，a，是向量空间的一个基，要求V的一个规范正交基，就是要找一组两两正交的单位向量e1，ea，e，，使e1，ea，e，与a1，a…，a，等价，这样一个问题，称为把，a..，c.这个基规
上述由线性无关向量组a1…，a，构造出正交向量组b1…，b，的过程，称为施密特正交化过程.

正交矩阵与正交变换

定义若n阶方阵4满足AA=E（即A1=A7）则称A为正交矩阵.
定理为正交矩阵的充要条件是的列向量都A是单位向量且两两正交。
定义若P为正交阵，则线性变换y=Px称为正交变换.
性质正交变换保持向量的长度不变.

image.png

方阵的特征值与特征向量

特征值与特征向量的概念
定义设A是n阶矩阵，如果数和n维非零列向量量使关系式
Ax=Ax成立，那未，这样的数称为方阵4的特征值，非零向量x称为4的对应于特征的特征向量
说明
1.特征向量x!=0，特征值问题是对方阵而言的.
2.n阶方阵A的特征值，就是使齐次线性方程组
（4-AE）x=0有非零解的a值，即满足方程|A-E|
=0的都是矩阵A的特征值.

特征值和特征向量的性质

注意
1.属于不同特征值的特征向量是线性无关的.
2.属于同一特征值的特征向量的非零线性组合仍是属于这个特征值的特征向量.
3.矩阵的特征向量总是相对于矩阵的特征值而言的，一个特征值具有的特征向量不唯一；一个特征向量不能属于不同的特征值.
相似矩阵

相似矩阵与相似变换的概念

定义设A，B都是n阶矩阵，若有可逆矩P，使P1AP=B，则称B是A的相似矩阵或说矩阵4与B相似.对A进行运算P1AP称为对A进行相似变换可逆矩阵P称为把4变成B的相似变换矩阵

二、相似矩阵与相似变换的性质

1.等价关系
（1）反身性A与A本身相似。
（2）对称性若A与B相似，则B与A相似.
（3）传递性若A与B相似，B与C相似，则A与C相似.
2.P1（A1A.）P=（P1A，P（P1A，P）
3.若A与B相似，则A“与B"相似（m为正整数）
4.P1（k，4，+k2d4）P=k，P1A，P+kaP1AiP其中k，k，是任意常数.

利用相似变换将方阵对角化

对n阶方阵A，若可找到可逆矩阵P，使P1AP=A为对角阵，这就称为把方阵A对角化.
定理n阶矩阵4与对角矩阵相似即A能对角化的充分必要条件是有n个线性无关的特征向量
证明：假设存在可逆阵P，使p-1AP=A为对角阵，把P用其列向量表示为P=（p1，P2…，p。）.
推论如果n阶矩阵A的l个特征值互不相等，则A与对角阵相似.
说明如果的特征方程有重根，此时不一定有个线性无关的特征向量，从而矩阵4不一定能对角化，但如果能找到2个线性无关的特征向量，A还是能对角化。

相似变换与相似变换矩阵

相似变换是对方阵进行的一种运算，它把A变成P1AP而可逆矩阵P称为进行这一变换的相似变换矩阵。
这种变换的重要意义在于简化对矩阵的各种运算，其方法是先通过相似变换，将矩阵变成与之等价的对角矩阵，再对对角矩阵进行运算，从而将比较复杂的矩阵的运算转化为比较简单的对角矩阵的运算。

特征分解

特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧：
1）特征值：
如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：
Av=2v这时候入就被称为特征向量V对应的特征值

特征分解

当矩阵是高维的情况下，那么这个矩阵就是高维空间下的一个线性变换，这个线性变化可能没法通过图片来表示，但是可以想象，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前N个特征向量，那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向，就可以近似这个矩阵（变换）。也就是之前说的：提取这个矩阵最重要的特征。
总结：
特征值分解可以得到特征值与特征向量，特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么，可以将每一个特征向量理解为一个线性的子空间，我们可以利用这些线性的子空间干很多的事情。
不过，特征值分解也有很多的局限，比如说变换的矩阵必须是方阵。

矩阵的正交对角分解

若A是n阶实对称矩阵，则存在正交矩阵Q，使得Q1A9=diag（1，2…A，）1）
其中，（i=1，2..n）为矩阵a的特征值，而2的n个列向量组成4的一个完备的标准正交特征向量系.
对于实的非对称矩阵4，不再有像式（1）的分解，但却存在两个正交矩阵p和2，使PAQ为对角矩阵，即有下面的正交对角分解定理.

奇异值分解的特征

1.奇异值分解可以降维##

A表示n个m维向量，可以通过奇异值分解表示成m+n个r维向量.若A的秩r远远小于m和n，则通过奇异值分解可以降低A的维数.可以计算出，当<时，m+n+1可以达到降维的目的，同时可以降低计算机对存贮器的要求.
2.奇异值对矩阵的扰动不敏感特征值对矩阵的扰动敏感.

在数学上可以证明，奇异值的变化不会超过相应矩阵的变化，即对任何的相同阶数的实矩阵A、B的按从大到小排列的奇异值a，和可，有

image.png

3.奇异值的比例不变性，即aA的奇异值是A的8奇异值的|al倍.
4.奇异值的旋转不变性.即若P是正交阵，PA的奇异值与A的奇异值相同.

奇异值的比例和旋转不变性特征在数字图象的旋转、镜像、平移、放大、缩小等几何变化方面有很好的应用.
5.容易得到矩阵A的秩为k（k≤r）的一个最佳逼近矩阵。
奇异值的这个特征可以应用于信号的分解和重构，提取有用信息，消除信号噪声.