矩阵论基础

目录

参考博客

一、线性空间

1.集合和数域

2.线性空间

3.线性相关与线性无关

4.基与维数

5.线性子空间

6.矩阵值域与核

7.矩阵的特征值和特征向量

8.行列式

9.子空间的交与和

10.矩阵的秩和维数

11.矩阵类型

11.Hermite标准型

12.矩阵的亏

13.特征多项式和最小多项式

14.矩阵合同

15.向量正交化

16.正交补

17.不变因子和初等因子

18.矩阵的逆

二、两个空间

1.欧式空间

2.酉空间

3.实内积空间与复内积空间对比

三、矩阵分解

1.特征值分解

2.QR分解

3.正规矩阵及schur分解

4.满秩分解 

5.奇异值分解

6.谱分解

四、广义逆矩阵

 1. 满秩分解求广义逆

2.奇异值分解求广义逆

3.谱分解求广义逆

4.方程组相容

5.{1}-逆 

6.广义逆判断方程是否有解

五、向量与矩阵范数

1.向量范数

2.矩阵范数

3.非齐次线性方程组的解

六、矩阵序列与矩阵函数

1.矩阵函数

2.矩阵函数求解

1.待定系数法

2.Jordan标准型法

3.矩阵微分方程 

七、矩阵特征值估计


参考博客

一、线性空间

1.集合和数域

集合指一堆东西放在一起,数域表示里面的数字对加减乘除封闭,属于集合的一个特殊情况,并且无限

2.线性空间

指一个空间,其中的任意一个向量,不论是乘一个常数还是和其他向量进行加减乘除运算,结果还是在这个空间里,则称这个空间为线性空间。与数域概念类似。

3.线性相关与线性无关

        若存在一堆向量x_{1},x_{2},x_{3}...,使得c_{1}x_{1}+c_{2}x_{2}+c_{3}x_{3}+...=0,其中c_{i}不全为0,则称x_{i}线性相关。反之则线性无关。

        线性相关表示这些向量互相之间处于相互垂直状态,在各向量不为0的情况下,向量和绝不会出现0的状况。线性无关则表示这些向量中至少有一个向量与其他向量不垂直。

4.基与维数

线性空间可以由最少的m个向量组合表示所有的向量,则这个最小数m即为线性空间的维数,m维线性空间V记为V^{m}。 

矩阵论基础_第1张图片

向量坐标含义:线性空间中某向量在各坐标基下的分量,称为该向量的坐标

5.线性子空间

V_{1}是是V的一个非空子集合,V是数域空间K上的线性空间,如果V_{1}满足:

  1. 如果x,y \epsilonV_{1},则x+y \epsilonV_{1}
  2. 如果x\epsilon V_{1},k\epsilonK,则kx\epsilonV_{1}

如果 V_{1}和V相等或者为空集,则 V_{1}称为平凡子空间,否则称为非平凡子空间

6.矩阵值域与核

值域(列空间):所有经过矩阵变换的向量,变换后的向量都落在了一个空间里,这个空间叫值域。

记R(A)表示矩阵A的值域,存在任意向量x,使得Ax=y向量,y向量组成的集合叫矩阵A的值域。

\begin{pmatrix} a_{11} &a_{12} \\ a_{21}& a_{22}\\ a_{31}&a_{32} \end{pmatrix} \begin{pmatrix} x_{1}\\ x_{2} \end{pmatrix} = \begin{pmatrix} y_{1}\\ y_{2}\\ y_{3} \end{pmatrix}

矩阵值域满足:

R(A)=\left \{Ax|x\epsilon R^{n} \right \}\subset R^{m}\\

:任意向量进行矩阵变换后,结果为0,这些向量组成的空间为A的核空间,或者零空间。

N(A)=\left \{x|Ax=0 \right \}

核空间的维度称为A的零度,记为n(A)

维数:核所在的空间称为V,V的维数=其变换矩阵的核空间维数+值域的维数。

dim(V)=dim(N(A))+dim(R(A))

矩阵4个空间:任意矩阵都可以分为两个空间 :行空间+零空间或列空间+左零空间

矩阵论基础_第2张图片

dim(nullspace) = 列数 - r = n - r

dim(left nullspace) = 行数 - r = m - r 

7.矩阵的特征值和特征向量

Ax=\lambda x

向量变换:矩阵A可以理解为对向量x做的变换,即A对x做完变换后,x只在长度上进行缩放。

也可以这么理解,有一个矩阵A,怎么找到被它变换后的向量x,只在长度上有变化,方向不变的向量,这些向量就是矩阵A的特征向量,对应的\lambda就是特征值。

矩阵的所有特征向量组成了矩阵的基,也就是经过矩阵操作后的坐标系。矩阵操作可以理解为对向量的变化,或者对坐标系的变换(也就是基的变换)。

坐标系变换:向量x,乘以矩阵A,变为向量b

Ax=b

可以理解为向量不变,只是坐标系进行了变换

x是在A坐标系下的描述,b是在I坐标系下的描述,也就是,其中I可看作省略

Ax=Ib

例如:在正常二维坐标系下的点(2,3),将其变为点(1,1)有两种方案,一是直接将点移动到后者处,也就是运动;二是将坐标系横轴缩短1/2,纵轴缩短1/3。

矩阵理解:当存在一个线性变换,可以用多个矩阵去描述这个变换,但这些矩阵都不是这个变换本身,只是这个变换的一种描述方式,而这些可以描述此变换的矩阵,都是相似的,具有相同的特征向量和特征值。

8.行列式

矩阵A可以理解为n维空间里,从一个点到另一个点的线性变换。若变换的对象也是一个矩阵T,可以理解为从n维空间到n维空间,对一个立方体T的变换,变换后为M,变换后的体积除以变化前的体积即为变换率,也就是行列式的值。

AT=M

det(A)=|A|

矩阵的逆:矩阵A理解为矩阵从T变为M,矩阵A^{-1}理解为矩阵从M变回T,则:

det(A)*det(A^{-1})=1

若矩阵可逆,则必有行列式,也就是变换倍率,若矩阵无行列式,也就说明矩阵必不可逆。 

9.子空间的交与和

交为交集,和为并集

直和V=V_{1}+V_{2}唯一的表示为V_{1}中的一个向量和V_{2}中的一个向量和,记为V_{1}\bigoplus V_{2}

可以理解为,把高维度空间中的一个向量,分别投影到相互正交独立的维度上,对它们处理完后,直和就是该向量要求的解,类似力的分解。

10.矩阵的秩和维数

 秩:矩阵的秩=列向量的维数=行向量的维数,也就是列向量张成的最大维度,记为rank(A)

维数:线性空间由几个向量组成,也就是列向量的数目,记为dim(A)

11.矩阵类型

常见矩阵及其定义
实正交矩阵 A^{T}A=I

酉矩阵

A^{H}A=I
对称矩阵(AA^{T}为对称矩阵) A=A^{T}
厄米特矩阵 A=A^{H}
正规矩阵(一定可相似对角化) A^{H}A=AA^{H}
奇异矩阵 |A|=0
幂等矩阵 A^{2}=A
单纯矩阵

可对角化的矩阵

11.Hermite标准型

矩阵rank(H)=r,且H前r行是非零行,并包含一个单位矩阵I_{r},后m-r行全为0。例:

H=\begin{pmatrix} 1 & 0 & 0 &3 \\ 0& 1& 0 & 4\\ 0& 0 & 1 & 2 \end{pmatrix}

12.Jordan标准型

上三角块,例:

J(\lambda )=\begin{pmatrix} \lambda _{1} & 1 & & \\ &\lambda _{2} &1 & \\ & & \lambda _{3} &1 \\ & & & \lambda _{4} \end{pmatrix}

12.矩阵的亏

若矩阵满秩,则矩阵的秩Rank(A)=r=n,亏为0

若矩阵不是满秩的,秩为Rank(A)=r,亏为n-r

13.特征多项式和最小多项式

(1)特征多项式

n阶矩阵A是其特征多项式的根(零点)

\varphi (\lambda )=det(\lambda I-A)=(\lambda -\lambda _{1})(\lambda -\lambda _{2})...(\lambda -\lambda _{n})

即满足:

\varphi (A )=(A -\lambda _{1}I)(A -\lambda _{2}I)...(A -\lambda _{n}I)

(2)最小多项式

次数最小的使m(A)=0的特征多项式,首项系数为1。一般求法是参照f(\lambda ),将其最高次幂依次降低1,然后尝试,直到满足m(A)=0

14.矩阵合同

A与B合同条件:

存在可逆矩阵C,使得CAC=B

15.向量正交化

若存在一组不共面的向量,如何将其正交化?

思路是先将其中两个向量正交化,然后再将第三个分量与正交的两个分量再做一次正交

矩阵论基础_第3张图片

 矩阵论基础_第4张图片

16.正交补

若向量y和向量x_{1},x_{2}...x_{n}均正交,则y与x_{1},x_{2}...x_{n}的线性组合也正交。

w为欧式空间V^{n}的子空间,若存在向量y与W正交,则y与W的每一个基向量正交。

正交补:

y称为W空间的正交补,记为

V^{n}=W\bigoplus W^{+}

正交补空间的维数:

dimW=m

 dimW^{+}=n-m

17.不变因子和初等因子

初等因子、不变因子

不变因子:

smith标准型对角线元素为不变因子,由小到大排列。分别记为d_{1},d_{2},d_{3}\cdots

行列式因子D_{k}(\lambda)为第k阶子式的最大公因式,且满足d_{1}=D_{1},d_{2}=\frac{D_{2}}{D_{1}},d_{3}=\frac{D_{3}}{D_{2}}

初等因子:

将不变因子常数项去掉,将其余各因子拆分

例:

不变因子:\lambda-1,\lambda-1,(\lambda-1)(\lambda-2)

初等因子:\lambda-1,\lambda-1,\lambda-1,\lambda-2

18.矩阵的逆

矩阵的逆求法1

A^{-1}=\frac{A^{*}}{|A|}

 矩阵的逆求法2

将矩阵A和I并排写,然后同时进行初等行变换,把A化为I,此时I的位置就是A^{-1},原理是初等行变换相当于给A左乘了一个矩阵T,使得TA=I,所以A^{-1}=T=TI,也就是等于I变换后的矩阵。

特征值和特征向量求法:任意矩阵A,求|\lambda I -A|=0

进行行变换和列变化,使得某一行或某一列只剩一个数,其余全是0,然后该行列式等于该点的值乘以代数余子式。

求矩阵A的伴随矩阵A^{*} :

求对应位置的代数余子式,需要注意的地方是,与原来处的代数余子式需要填到另一个位置,此处需要尤为注意

例:

A=\begin{pmatrix} 1 &1 &1 \\ 1 & 0& 1\\ 0& -1 &2 \end{pmatrix}=\begin{pmatrix} a_{11} &a_{12} &a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} &a_{33} \end{pmatrix}

|A|=-2

A^{-1}=\frac{A^{*}}{|A|}=-\frac{1}{2}\begin{pmatrix} A_{11} & A_{21} & A_{31}\\ A_{12}& A_{22} & A_{32} \\ A_{13}& A_{23} & A_{33} \end{pmatrix}=\begin{pmatrix} -\frac{1}{2} & \frac{3}{2} &-\frac{1}{2} \\ 1& -1 & 0\\ \frac{1}{2}& -\frac{1}{2} & \frac{1}{2} \end{pmatrix}

二、两个空间

1.欧式空间

实内积空间

\\ x=(a,b,c) \\ y=(m,n,k)\\ (x,y)=am+bn+ck

​内积结果是一个数值

2.酉空间

复内积空间

\\ x=(a,b,c) \\ y=(m,n,k)\\ (x,y)=\bar{(y,x)}=\bar{am}+\bar{bn}+\bar{ck}

\\ \bar{(y,x)}表示(x,y)的共轭​​​​​​

3.实内积空间与复内积空间对比

实内积空间与复内积空间对比

实内积空间

(欧式空间)

复内积空间(酉空间)
实数 复数
(Tx,Tx)=(x,x)

正交变换

(正交矩阵)

A^{T}A=I

酉变换(酉矩阵)

A^{H}A=I

(Tx,y)=(x,Ty)

对称变换(实对称矩阵)

A^{T}=A

厄尔米特变换(酉对称变换)厄尔米特矩阵

A^{H}=A

矩阵特征值 实数 实数
矩阵特征向量 正交 正交

三、矩阵分解

目的:把矩阵分解为一些小矩阵,更易计算,或者更容易分析矩阵的特点

1.特征值分解

A=P\Lambda P^{-1}

其中可逆矩阵P等于特征向量正交规范化后的组合,矩阵\Lambda = \begin{pmatrix} \lambda _{1} & & \\ & \lambda _{1} & \\ & & \lambda _{1} \end{pmatrix}

tips:

这里组成P的特征向量不需要施密特正交化即可,施密特正交化只是为了方便求P^{-1}。比如下面schur分解就使用了施密特正交化,因为施密特正交规范化后,P变为正交矩阵,也就有P^{T}=P^{-1}

2.QR分解

定义:实(复)非奇异矩阵A可以分解为正规矩阵Q正线上三角矩阵R

奇异矩阵:行列式=0的矩阵,即不可逆矩阵

A的列向量为a_{1},a_{2},a_{3},...a_{n}

(1)求矩阵A的正交单位化矩阵,即Q

a_{1},a_{2},a_{3},...a_{n}正交化

\left\{\begin{matrix} b_{1}=a{1} & & & & \\ b_{2}=a_{2}-k_{21}b_{1}& & & & & & \\ b_{n}=a_{n}-k_{n,n-1}b_{n-1}-...-k_{n1}b_{1}& & & & & & \end{matrix}\right.

其中k_{ij}=\frac{(a_{i},b_{j})}{(b_{j},b_{j})}(j<i)

\left\{\begin{matrix} a_{1}=b{1} & & & & \\ a_{2}=b_{2}+k_{21}b_{1}& & & & & & \\ a_{n}=b_{n}+k_{n,n-1}b_{n-1}+...+k_{n1}b_{1}& & & & & & \end{matrix}\right.

(a_{1},a_{2},a_{3},...a_{n},)=(b_{1},b_{2},b_{3},...b_{n},)C

其中C=\begin{pmatrix} 1 &k_{21} &... &k_{n1} \\ & 1 & ... & k_{n2}\\ & & \ddots &\vdots \\ & & & 1 \end{pmatrix}

b_{1},b_{2},b_{3},...b_{n}单位化

q_{i}=\frac{b_{i}}{|b_{i}|}

Q=(q_{1},q_{2},q_{3},...q_{n})

(2)求正交向量模值与C的乘积,即R

R=\begin{pmatrix} |b_{1}| & & \\ & \ddots & \\ & & |b_{n}| \end{pmatrix}C=\begin{pmatrix} |b_{1}| & & \\ & \ddots & \\ & & |b_{n}| \end{pmatrix}\begin{pmatrix} 1 &k_{21} &... &k_{n1} \\ & 1 & ... & k_{n2}\\ & & \ddots &\vdots \\ & & & 1 \end{pmatrix}

例子:

A=\begin{bmatrix} 1&2 &2 \\ 2&1 &2 \\ 2&2 &1 \end{bmatrix}

a_{1}=\begin{pmatrix} 1\\ 2\\ 2 \end{pmatrix} a_{2}=\begin{pmatrix} 2\\ 1\\ 2 \end{pmatrix} a_{3}=\begin{pmatrix} 2\\ 2\\ 1 \end{pmatrix}

\left\{\begin{matrix} b_{1}=a_{1}=\begin{pmatrix} 1\\ 2\\ 1 \end{pmatrix}\\ b_{2}=a_{2}-b_{1}=\begin{pmatrix} 1\\ -1\\ 1 \end{pmatrix}\\ b_{3}=a_{3}-\frac{(a_{3},b_{2})}{(b_{2},b_{2})}b_{2}-\frac{(a_{3},b_{1})}{(b_{1},b_{1})}b_{1}=\begin{pmatrix} 0.5\\ 0\\ -0.5 \end{pmatrix} \end{matrix}\right.

b_{1},b_{2},b_{3}单位化

Q=\begin{pmatrix} \frac{1}{\sqrt{6}} &\frac{1}{\sqrt{3}} &\frac{1}{\sqrt{2}} \\ \frac{2}{\sqrt{6}} &-\frac{1}{\sqrt{3}} & 0\\ \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{3}} &-\frac{1}{\sqrt{2}} \end{pmatrix}

R=\begin{pmatrix} \sqrt{6} & & \\ & \sqrt{3} & \\ & & \frac{1}{\sqrt{2}} \end{pmatrix}\begin{pmatrix} 1 & 1 & \frac{7}{6}\\ &1 &\frac{1}{3} \\ & &1 \end{pmatrix}=\begin{pmatrix} \sqrt{6} &\sqrt{6} &\frac{7}{\sqrt{6}} \\ & \sqrt{6}& \frac{1}{\sqrt{3}}\\ & & \frac{1}{\sqrt{2}} \end{pmatrix}

Givens矩阵和Givens变换:

 Givens矩阵为初等旋转矩阵,由Givens矩阵确定的变换称为Givens变换,也就是初等旋转变换。

性质:

(1)Givens矩阵是正交矩阵

(2)任意可逆矩阵都可以通过左乘有限个Givens矩阵变为上三角矩阵

Householder矩阵:

Householder矩阵也叫初等反射矩阵,相当于对向量或矩阵做镜像,模值不变。

性质:

(1)\\A^{T}=A \\A^{T}A=I    属于对称正交矩阵

(2)\\A^{2}=I \\A^{-1}=A\\ detA=-1

(3)Givens矩阵是两个Householder矩阵的乘积

(4)任意可逆矩阵都可以通过左乘有限个Householder矩阵变换为上三角矩阵

3.正规矩阵及schur分解

Schur引理:

A\epsilon R^{n\ast n}且A的特征值均为实数,则存在正交矩阵Q,使得

矩阵论基础_第5张图片

任意实方阵A,正交相似于一个上三角阵,且其主对角线元素为矩阵A的特征值

Schur分解流程: 

其原理是,已知P^{-1}AP=\Lambda,其中P为满秩矩阵,其实当P为酉矩阵时,此处P^{-1}=P^{H},因此求酉矩阵P就相当于之前求满秩矩阵P

例子:

A=\begin{pmatrix} 4+3i &4i &-6-2i \\ -4i &4-3i &-2-6i \\ 6+2i&-2-6i &1 \end{pmatrix}

求酉矩阵Q,使得Q^{H}AQ为对角矩阵

(1)求特征值对应的特征向量

        a.求特征值

        |\lambda I-A|=\begin{vmatrix} \lambda -4-3i &-4i &6+2i \\ 4i & \lambda -4+3i &2+6i \\ -6-2i&2+6i & \lambda -1 \end{vmatrix}=0

\\ \lambda _{1}=-9i \\ \lambda _{2}= 9i \\ \lambda _{3}= 9

\lambda _{1}=-9i

x_{1}=\begin{pmatrix} -\frac{i}{2}\\ 1\\ 1 \end{pmatrix}

\lambda _{2}=9i

x_{2}=\begin{pmatrix} -i\\ -\frac{1}{2}\\ 1 \end{pmatrix}

\lambda _{3}=9

x_{3}=\begin{pmatrix} i\\ 1\\ -\frac{1}{2} \end{pmatrix}

(2)将特征向量正交标准化

\eta _{1}=\begin{pmatrix} -\frac{i}{3}\\ \frac{2}{3}\\ \frac{2}{3} \end{pmatrix}

 \eta _{2}=\begin{pmatrix} \frac{2i}{3}\\ -\frac{1}{3}\\ \frac{2}{3} \end{pmatrix}

 \eta _{3}=\begin{pmatrix} \frac{2i}{3}\\ \frac{2}{3}\\ -\frac{1}{3} \end{pmatrix}

(3)Q=(\eta _{1},\eta _{2},\eta _{3})

4.满秩分解 

定义:若A\epsilon C_{r}^{m*n},如果存在F\epsilon C_{r}^{m*r}G\epsilon C_{r}^{r*n},使得A=FG,则称其为矩阵的满秩分解。满秩分解不唯一

例子:

A=\begin{pmatrix} 0 &0 &1 \\ 2& 1 &1 \\ 2i& i & 0 \end{pmatrix}

A\Rightarrow \begin{pmatrix} 1 &\frac{1}{2} &0 \\ 0& 0& 1\\ 0 &0 &0 \end{pmatrix}

A=\begin{pmatrix} 0&1 \\ 2 &1 \\ 2i& 0 \end{pmatrix} \begin{pmatrix} 1& \frac{1}{2} &0 \\ 0& 0& 1 \end{pmatrix}=FG

 G就是行最简型

5.奇异值分解

在特征值分解的基础上,衍生出奇异值分解,根本原理相同,只不过特征值分解对应的是n*n阶矩阵,奇异值分解对应的是m*n阶矩阵,不是方阵。

对于m*n阶矩阵A,AA^{H}m*m阶对称矩阵(对称矩阵A=A^{T}),A^{H}An*n阶对称矩阵,则有

AA^{H}=P\Lambda P^{H}

A^{H}A=Q\Lambda Q^{H}

P为AA^{H}的左奇异向量,Q是A^{H}A的右奇异向量

P和T均为酉矩阵,酉矩阵也是正交矩阵,正交矩阵对角化可写作A=R\Lambda R^{T}

S_{r}为A的特征值开方,称为A的奇异值

例:

A=\begin{pmatrix} 1 &0 &1 \\ 0 & 1 &1 \\ 0&0 &0 \end{pmatrix}

(1) AA^{T}=V\Sigma V^{T}

A^{T}A=\begin{pmatrix} 2 &1 &0 \\ 1 & 2 & 0\\ 0& 0&0 \end{pmatrix}

由于不是满秩,因此只对左上角方阵进行计算,特征值分别为\\ \lambda _{1}=3\\ \lambda _{2}=1\lambda _{3}=0

对应特征向量为:

p_1=\begin{pmatrix} 1\\ 1\\ 0 \end{pmatrix} p_2=\begin{pmatrix} 1\\ -1\\ 0 \end{pmatrix} p_3=\begin{pmatrix} 0\\ 0\\ 1 \end{pmatrix}

单位化后:

U=\begin{pmatrix} \frac{1}{\sqrt{2}} &\frac{1}{\sqrt{2}} &0 \\ \frac{1}{\sqrt{2}} &-\frac{1}{\sqrt{2}} &0 \\ 0 & 0 & 1 \end{pmatrix}

(2)A^{T}A=U\Sigma U^{T}

A^{T}A=\begin{pmatrix} 1 &0 &1 \\ 0& 1 & 1\\ 1& 1& 2 \end{pmatrix}

的特征值为:\\ \lambda _{1}=3 \\\lambda _{2}=1 \\ \lambda _{3}=0

特征向量为:p_1=\begin{pmatrix} 1\\ 1\\ 2 \end{pmatrix} p_2=\begin{pmatrix} 1\\ -1\\ 0 \end{pmatrix} p_3=\begin{pmatrix} 1\\ 1\\ -1 \end{pmatrix}

 单位化后:

V=\begin{pmatrix} \frac{1}{\sqrt{6}} &\frac{1}{\sqrt{2}} &\frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{6}} &-\frac{1}{\sqrt{2}} &\frac{1}{\sqrt{3}} \\ \frac{2}{\sqrt{6}} & 0 & -\frac{1}{\sqrt{3}} \end{pmatrix}.

(3)

\Sigma =\begin{pmatrix} 3 & & \\ & 1 & \\ & &0 \end{pmatrix}

求解思路: 

奇异值分解(SVD)求解过程其实异常简单,由A=US_{r}V^{T}可以推出以下两个公式:

\\AA^{T}=US_{r}V^{T}(US_{r}V^{T})^{T}=US_{r}V^{T}VS_{r}U^{T}=U\Lambda U^{T}\\ A^{T}A=(US_{r}V^{T})^{T}US_{r}V^{T}=VS_{r}U^{T}US_{r}V^{T}=V\Lambda V^{T}\\

S_{r}=\sqrt{\Lambda }

所以奇异值分解其实很简单,把AA^{T}A^{T}A当成一个方阵进行shur分解,也就是求特征值对应的标准正交基,若A是m*n阶矩阵,则AA^{T}对应U,A^{T}A对应V的求解,并且他们的特征值相同。

6.谱分解

定义:单纯矩阵(可对角化矩阵)A,可以分解为特征值与幂等矩阵积的和,即

A=\sum_{i=1}^{k}\lambda _{i}E_{i}

\lambda _{i}称为A的谱值,也就是A的特征值,E_{i}称为A的谱阵

所以,谱分解,其实可以看做矩阵的特征值分解,将矩阵分解为单个特征值和单个矩阵的乘积和。

特征值分解,记为A=P\Lambda P^{-1}

P=\begin{pmatrix} \alpha _{1} \\ \alpha_{2} \\ \alpha_{3} \end{pmatrix} =\begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} &a_{32} & a_{33} \end{pmatrix}

P^{-1}=\begin{pmatrix} \beta _{1} &\beta _{2} & \beta _{3} \end{pmatrix} =\begin{pmatrix} b_{11} & b_{12} & b_{13} \\ b_{21} & b_{22} & b_{23} \\ b_{31} & b_{32} & b_{33} \end{pmatrix}

A=P\Lambda P^{-1}=\begin{pmatrix} \alpha_{1} \\ \alpha_{2} \\ \alpha_{3} \end{pmatrix} \begin{pmatrix} \lambda _{1} & & \\ &\lambda _{2} & \\ & & \lambda _{3} \end{pmatrix} \begin{pmatrix} \beta _{1}& \beta _{2}&\beta _{3} \end{pmatrix} = \lambda _{1}\alpha_{1}\beta _{1} + \lambda _{2}\alpha_{2} \beta _{2}+ \lambda _{3} \alpha_{3}\beta _{3}=\sum_{i=1}^{n}\lambda _{i}\alpha_{i} \beta _{i}

求解思路: 

(1)求特征值和特征向量

(2)将特征向量规范化,即求P和P^{-1}

(3)分解P和P^{-1}\sum_{i=1}^{n}\lambda _{i}\alpha_{i} \beta _{i}

 例:

A=\begin{pmatrix} 1 & 2 & 2\\ 2 & 1& 2\\ 2 &2 & 1 \end{pmatrix}

特征值分别为\lambda _{1}=\lambda _{2}=-1\lambda _{3}=5

P=\begin{pmatrix} 1 & 1 &1 \\ -1& 0& 1\\ 0& -1& 1 \end{pmatrix}

P^{-1}=\begin{pmatrix} \frac{1}{3} & -\frac{2}{3} &\frac{1}{3} \\ \frac{1}{3} & \frac{1}{3} &-\frac{2}{3} \\ \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{pmatrix}

E_{1}=\begin{pmatrix} 1 & 1\\ -1 & 0\\ 0&-1 \end{pmatrix} \begin{pmatrix} \frac{1}{3}& -\frac{2}{3} & \frac{1}{3}\\ \frac{1}{3}& \frac{1}{3} & - \frac{2}{3} \end{pmatrix}=\begin{pmatrix} \frac{2}{3} &-\frac{1}{3} &-\frac{1}{3} \\ - \frac{1}{3}& \frac{2}{3} &-\frac{1}{3} \\ -\frac{1}{3}&-\frac{1}{3} & \frac{2}{3} \end{pmatrix}

E_{2}=\begin{pmatrix} 1\\ 1\\ 1 \end{pmatrix}\begin{pmatrix} \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{pmatrix}=\begin{pmatrix} \frac{1}{3} & \frac{1}{3} & \frac{1}{3}\\ \frac{1}{3}& \frac{1}{3}& \frac{1}{3}\\ \frac{1}{3} & \frac{1}{3} & \frac{1}{3} \end{pmatrix}

A=-1E_{1}+5E_{2}

四、广义逆矩阵

\\ A^{-1}AA^{-1}=A^{-1}\\ AA^{-1}A=A

对应下面一二两公式。

设矩阵A\epsilon C^{m*n},若矩阵X\epsilon C^{n*m}满足以下某个或全部

\\ AXA=A \\ XAX=X \\ (AX)^{H}=AX\\ (XA)^{H}=XA

则称X为A的广义逆矩阵。若4个都满足,称X为A的Penrose逆,记为A^{+}

 1. 满秩分解求广义逆

A=FG,则

A^{+}=G^{H}(GG^{H})^{-1}(F^{H}F)^{-1}F^{H}

因此需要先求满秩分解A=FG 

2.奇异值分解求广义逆

A=PS_{r} Q^{H}Q=(Q_{1},Q_{2})

A^{+}=Q_{1}\Sigma ^{-1}Q_{1}^{H}A^{H}

3.谱分解求广义逆

4.方程组相容

定义:存在非齐次线性方程组Ax=b

r(A)=r(A\vdots b),则称此线性方程组相容

5.{1}-逆 

 Ax=b

x=A^{(1)}b+(I-A^{(1)}A)y

矩阵论基础_第6张图片

6.广义逆判断方程是否有解

判断Ax=b是否有解

AA^{+}b=b,则有解

矩阵论基础_第7张图片

五、向量与矩阵范数

Ax=b,向量x的范数表示向量的大小,矩阵A的范数表示从向量x变为向量b时变化的倍率,也就是缩放量的大小,范数是个大小度量工具。

1.向量范数

类别 公式 含义
1-范数 \left \| x \right \|_{1}=\sum_{i=1}^{n}|x_{i}| x绝对值之和
2-范数 \left \| x \right \|_{2}=\sqrt{\sum_{i=1}^{n}|x_{i}|^{2}} x欧氏距离
\infty-范数 \left \| x \right \|_{\infty }=max|x_{i}| x绝对值中最大
p-范数 \left \| x \right \|_{p}={\sum_{i=1}^{n}|x_{i}|^{p}}^{\frac{1}{p}} x的p次方和开\frac{1}{p}次方
E-范数 \left \| x \right \|_{E}=\sqrt{\sum_{i=1}^{n}x_{i}^{2}} 与2-范数差了绝对值

2.矩阵范数

类别 公式 含义
1-范数 \left \| A \right \|_{1}=\underset{j}{max}\sum_{i=1}^{n}|a_{ij}| 列元素绝对值之和,取最大
2-范数 \left \| A \right \|_{2}=\sqrt{max(\lambda _{i})} A^{T}A最大特征值开方

 \infty-范数

\left \| A \right \|_{\infty }=\underset{i}{max}\sum_{j=1}^{n}|a_{ij}| 对应1-范数,行元素绝对值和最大
F-范数 ||A||_{F}=(\sum_{i=1}^{m}\sum_{j=1}^{n}|a_{ij}|^{2})^{\frac{1}{2}} 全部元素平方和开方

3.非齐次线性方程组的解

Ax=b

x=A^{(1)}b+(I-A^{(1)}A)y

因为A^{+}\epsilon A^{(1)},所以

x=A^{+}b+(I-A^{+}A)y

若A行满秩,则:

A^{+}=A^{H}(AA^{H})^{-1}

若A列满秩,则:

A^{+}=(A^{H}A)^{-1}A^{H}

A^{+}=G^{H}(GG^{H})^{-1}(F^{H}F)^{-1}F^{H}

六、矩阵序列与矩阵函数

1.矩阵函数

设一元函数f(z)能展开为z的幂级数f(z)=\sum_{k=0}^{\infty }c_{k}z^{k}(|z|<r)

silur>0表示幂级数的收敛半径,当n阶矩阵A的谱半径\rho (A)<r时,将收敛的矩阵幂级数的和f(z)=\sum_{k=0}^{\infty }c_{k}A^{k}称为矩阵函数,记为

f(A)=\sum_{k=0}^{\infty }c_{k}A^{k}

z A
e^{z}=1+\frac{z}{1!}+\frac{z^{2}}{2!}+\frac{z^{3}}{3!}\cdots e^{A}=I+\frac{A}{1!}+\frac{A^{2}}{2!}+\frac{A^{3}}{3!}\cdots
cos z=1-\frac{z^{2}}{2!}+\frac{z^{4}}{4!}\cdots cos A=I-\frac{A^{2}}{2!}+\frac{A^{4}}{4!}\cdots
sin z=1-\frac{z^{3}}{3!}+\frac{z^{5}}{5!}\cdots sin A=I-\frac{A^{3}}{3!}+\frac{A^{5}}{5!}\cdots

\sum_{k=1}^{\infty }kA^{k}=(I-A)^{-2}A

 \sum_{k=1}^{\infty }k^{2}A^{k}=(I-A)^{-2}[(I-A)^{-1}-2I-A]

2.矩阵函数求解

1.待定系数法

求解思路:

先求最小特征多项式m_{A}(\lambda ),然后设待求矩阵函数为f(\lambda)f(\lambda)=m_{A}( \lambda )*g(\lambda)+r(\lambda),其中r(\lambda)为次数小于m_{A}(\lambda)的多项式。然后依次往f(\lambda)里面带入特征值\lambda_{i},若出现重根,则对f(\lambda)求导。

例:

A=\begin{pmatrix} 2 &0 &0 \\ 1& 1& 1\\ 1&-1 & 3 \end{pmatrix},求sinAt(t\epsilon R)

det(\lambda I-A)=(\lambda-2)^{3}

m(\lambda)=(\lambda-2)^{2}

f(\lambda)=sin\lambda t=m(\lambda)g(\lambda)+r(\lambda)=m(\lambda)g(\lambda)+a\lambda+b

\begin{cases} &f(2)=sin2t=2a+b \\ & f^{'}(2)=tcos2t=a \end{cases}\begin{cases} &a=tcos2t \\ & b=sin2t-2tcos2t \end{cases}

r(\lambda)=(tcos2t)\lambda+sin2t-2tcos2t

sinAt=tcos(2t)A+(sin2t-2tcos2t)I=\begin{pmatrix} tsin2t &0 &0 \\ tcos2t& sin2t-tcos2t & tcos2t\\ tcos2t& -tcos2t &sin2t+tcos2t \end{pmatrix}

2.Jordan标准型法

 

 矩阵论基础_第8张图片

3.矩阵微分方程 

(1)齐次微分方程

x^{'}=\frac{dx}{dt}=Ax

x=e^{tA}x(0)

(2)非齐次微分方程

x^{'}=\frac{dx}{dt}=Ax+b(t)

x=e^{tA}x(0)+e^{tA}\int_{t_{0}}^{t}e^{-st}b(s)ds

矩阵论基础_第9张图片

例:

A=\begin{pmatrix} 2 &0 &0 \\ 1 & 1 & 1\\ 1&-1 &3 \end{pmatrix}

b(t)=\begin{pmatrix} e^{2t}\\ e^{2t}\\ 0 \end{pmatrix}

x(0)=\begin{pmatrix} -1\\ 1\\ 0 \end{pmatrix}

求解微分方程x^{'}=Ax+b(t)满足x(0)的解

先求通解:

先求e^{tA}

m(\lambda)=(\lambda-2)^{2}

f(\lambda)=e^{t\lambda}=m(\lambda)g(\lambda)+r(\lambda)=m(\lambda)g(\lambda)+a\lambda+b

\begin{cases} &f(2)=e^{2t}=2a+b \\ & f^{'}(2)=te^{2t}=a \end{cases}\begin{cases} &a=te^{2t} \\ & b=e^{2t}-2te^{2t} \end{cases}

r(\lambda)=te^{2t}\lambda+e^{2t}-2te^{2t}

e^{tA}=te^{2t}A+(e^{2t}-2te^{2t})I

e^{tA}=e^{2t}\begin{pmatrix} 1 & 0&0 \\ t & 1-t& t\\ t &-t &1+t \end{pmatrix}

x(0)=\begin{pmatrix} -1\\ 1\\ 0 \end{pmatrix}

x(0)就是c

e^{tA}x(0)=e^{tA}\begin{pmatrix} -1\\ 1-2t\\ -2t \end{pmatrix}

再求特解:

\int_{t_{0}}^{t}e^{-st}b(s)ds=\int_{t_{0}}^{t}\begin{pmatrix} 1\\ 1\\ 0 \end{pmatrix}ds=\begin{pmatrix} t\\ t\\ 0 \end{pmatrix}

e^{-st}=-te^{-2t}A+(e^{-2t}+2te^{-2t})=e^{-2t}\begin{pmatrix} 1 & 0&0 \\ -t & 1+t& -t\\ -t &t &1-t \end{pmatrix}

合并:

x=e^{tA}[\begin{pmatrix} -1\\ 1\\ 0 \end{pmatrix} +\begin{pmatrix} t\\ t\\ 0 \end{pmatrix}]=e^{tA}\begin{pmatrix} t-1\\ 1+t\\ 0 \end{pmatrix}=e^{2t}\begin{pmatrix} 1 & 0&0 \\ t & 1-t& t\\ t &-t &1+t \end{pmatrix}\begin{pmatrix} t-1\\ 1+t\\ 0 \end{pmatrix}=e^{2t}\begin{pmatrix} t-1\\1-t \\ -2t\end{pmatrix}

七、矩阵特征值估计

(1)行盖尔圆

每一行除对角线元素外,其他元素绝对值和为第一个盖尔圆半径的边界,圆心为对角线元素

(2)列盖尔圆

列盖尔圆和行盖尔圆原理相同

(3)盖尔圆隔离

矩阵论基础_第10张图片

 D=\begin{pmatrix} 1 & & \\ & 1& \\ & & n \end{pmatrix}

DAD^{-1}=\begin{pmatrix} & & \frac{1}{n}\\ & & \frac{1}{n}\\ n & n&1 \end{pmatrix}

你可能感兴趣的:(数学基础,python,开发语言,后端)