矩阵计算误差分析(条件数和范数)

矩阵计算误差分析(条件数和范数)

引言

误差问题是不可避免的，在大量的数据样本中，如果能去掉部分可能造成误差很大的样本，那么对于应用矩阵得到的结果的可靠性则大大加强。例如有999个员工的月收入为$10^4$元，马云的月收入为$10^9$元，现在问这1000个人的平均月收入，显然将马云的这一数据去掉，更能反映出总体的平均月收入水平。研究矩阵计算$Ax=b$中的误差问题，研究方法是对b或者A施加微小的扰动，再通过计算x的变化，得出扰动对于x误差的影响。

对b施加扰动

方程$Ax=b$变化为:
$$A(x+\Delta x)=b+\Delta b$$
$$A\Delta x=\Delta b$$
$$\Delta x=A^{-1}\Delta b$$
如果$A$接近奇艺矩阵，即$\left|A\right|\approx 0$，则 $\left|A^{-1}\right|$很大，这就说明当$\Delta b$取某些方向时，$\Delta x$将会非常大。
为方便研究，假定$A$是正定矩阵，且含有n个特征值:$$0<{\lambda }_1⩽{\lambda }_2⩽...⩽{\lambda }_n,$$对应的特征向量为：
$$x_1,x_2,...,x_n.$$则任意向量都是特征向量的线性组合。
$A$是正定矩阵则$A^{-1}$也是正定矩阵，且含有n个特征值：
$$0<\frac{1}{{\lambda }_n}⩽\frac{1}{{\lambda }_{n-1}}⩽...⩽\frac{1}{{\lambda }_1}$$
$$x_1,x_2,...,x_n$$同时也是$A^{-1}$的特征向量。
现在设$\Delta b=ϵx_i$,则
$$\Delta x=A^{-1}ϵx_i=\frac{ϵx_i}{{\lambda }_i}=\frac{\Delta b}{{\lambda }_i}$$
这说明当$b$取$x_1$方向时，为最坏的扰动，当${\lambda }_1$接近于0时，$x$将异常灵敏。
上述分析过程中存在一个明显的缺陷：如果将$A$扩大$1000$倍，即$1000A$，则特征值${\lambda }_i$变为$1000{\lambda }_i$,看起来误差$\Delta x$也缩小了1000倍。如此简单的标量变化就能将一个病态矩阵变化为优良矩阵，明显是不可能的。所以接下来应当研究$x$与$b$的相对误差。即
$\frac{\Delta b}{b}$ 与$\frac{\Delta x}{x}$的关系.

相对误差分析

对于正定矩阵$A$，$Ax=b$的解为$x=A^{-1}b和误差\Delta x=A^{-1}\Delta b$永远满足不等式：
$$\Vert x\Vert \ge \frac{\Vert b\Vert }{{\lambda }_n},\Vert \Delta x\Vert \le \frac{\Vert \Delta b\Vert }{{\lambda }_1}$$
证：由于$A$为正定矩阵，故存在正交矩阵Q，使得$$Q^{-1}AQ=Q^{T}AQ=\Lambda$$ .设$b=Qy$
$A=Q\Lambda Q^T,A^{-1}=Q{\Lambda }^{-1}{Q}^T$,
${\Vert b\Vert }^2=(Qy{)}^T(Qy)=y^{T}y=y_1^2+y_2^2+...+y_n^2.$
$x^{T}x={\Vert x\Vert }^2=(A^{-1}Qy{)}^T(A^{-1}Qy)=(Q{\Lambda }^{-1}{Q}^{T}Qy{)}^T(Q{\Lambda }^{-1}{Q}^{T}Qy)=(Q{\Lambda }^{-1}y{)}^T(Q{\Lambda }^{-1}y)=y^T{\Lambda }^{-1}{Q}^{T}Q{\Lambda }^{-1}y=y^T{\Lambda }^{-2}y$
$=[y_1{\lambda }_1^{-2},y_2{\lambda }_2^{-2},....,y_n{\lambda }_n^{-2}][y_1,y_2,...,y_n{]}^T=\frac{y_1^2}{{\lambda }_1^2}+\frac{y_2^2}{{\lambda }_2^2}+...+\frac{y_n^2}{{\lambda }_n^2}$ $\ge \frac{y_1^2}{{\lambda }_n^2}+\frac{y_2^2}{{\lambda }_n^2}+...+\frac{y_n^2}{{\lambda }_n^2}$
$=\frac{y_1^2+y_2^2+...+y_n^2}{{\lambda }_n^2}=\frac{{\Vert b\Vert }^2}{{\lambda }_n^2}$
同理可得：
${\Vert \Delta x\Vert }^2\le \frac{{\Vert \Delta b\Vert }^2}{{\lambda }_1^2}$
由这两个不等式，可以得到：
$$\frac{\Vert \Delta x\Vert }{\Vert x\Vert }\le \frac{\Vert \Delta b\Vert }{{\lambda }_1}\frac{{\lambda }_n}{\Vert b\Vert }=\frac{{\lambda }_n}{{\lambda }_1}\frac{\Vert \Delta b\Vert }{\Vert b\Vert }$$
等号当特征值都相等时取到。
比值$$c=\frac{{\lambda }_n}{{\lambda }_1}=\frac{{\lambda }_{max}}{{\lambda }_{min}}$$称为矩阵A的条件数。
条件数也是一种度量病态矩阵的方法，c越大，误差可能就越大。
上述研究过程中$A$要求是正定矩阵，对于一般的矩阵，应采用更普遍的度量方法。

一般矩阵误差分析

回顾对于正定矩阵的研究思路，$b$的扰动，如果出现在矩阵某个特征向量方向上，则解$x$的误差将会异常灵敏。对于一般的矩阵，同样可以定义一个矩阵$A$对于$x$的放大作用的最大值，即范数：
$$\Vert A\Vert =ma{x}_{x̸=0}(\frac{\Vert Ax\Vert }{\Vert x\Vert })$$
A的范数即限制了矩阵A对于x的放大作用:
$$\Vert Ax\Vert \le \Vert A\Vert \Vert x\Vert$$
同样对$b$施加扰动：
$b=Ax,\Delta x=A^{-1}\Delta b,$
$\Vert b\Vert \le \Vert A\Vert \Vert x\Vert ,$
$\Vert \Delta x\Vert \le \Vert A^{-1}\Vert \Vert \Delta b\Vert ,$
则可以得到：
$$\frac{\Vert \Delta x\Vert }{\Vert x\Vert }\le \Vert A\Vert \Vert A^{-1}\Vert \frac{\Vert \Delta b\Vert }{\Vert b\Vert },$$
对比上面条件数的公式，可得条件数$$c=\Vert A\Vert \Vert A^{-1}\Vert$$
$$\frac{\Vert \Delta x\Vert }{\Vert x\Vert }\le c\frac{\Vert \Delta b\Vert }{\Vert b\Vert }$$

现在稍微研究一下对于矩阵$A$的施加扰动$\Delta A$,则
$Ax=b,(A+\Delta A)(x+\Delta x)=b,$
$\Delta Ax+\Delta A\Delta x+A\Delta x=0,$
$\Delta x=-A^{-1}(\Delta A)(x+\Delta x).$
$\Vert \Delta x\Vert \le \Vert A^{-1}\Vert \Vert \Delta A\Vert \Vert x+\Delta x\Vert ,$
$$\frac{\Vert \Delta x\Vert }{\Vert x+\Delta x\Vert }\le \frac{\Vert A^{-1}\Vert \Vert \Delta A\Vert \Vert A\Vert }{\Vert A\Vert }=c\frac{\Vert \Delta A\Vert }{\Vert A\Vert }$$

可见对于矩阵$A$施加扰动，仍可以以条件数$c$度量误差。误差分析的基础：1）由问题的自然灵敏度$c$度量；2）在求解过程中的实际计算误差$\Delta A$ 或 $\Delta b$。这就是维尔克逊误差分析的基础。如果采用“部分选主元法”则可以保证控制住$\Delta A$或$\Delta b$,则误差均由条件数$c$来承担。

范数的计算公式

上面只研究了范数和条件数的关系，接下来给出范数的计算公式。
$${\Vert A\Vert }^2=max(\frac{{\Vert Ax\Vert }^2}{{\Vert x\Vert }^2})=max(\frac{x^T{A}^{T}Ax}{x^{T}x})$$
右边表达式即是$A^{T}A$的Rayleigh商，但有所不同的是$A^{T}A$只是对称矩阵，而不一定是正定矩阵。此处求最大值显然是指其绝对值最大，类似于研究正定矩阵的方法可以得出右边式子的最大值即为$$max(\left|{\lambda }_{A^{T}A}\right|)$$

矩阵$A$的范数和条件数，在实际问题中只是估算出来，特征值的求解问题是求解高次方程，难度很大。$A^{T}A$的条件数是$A$的条件数的平方，这说明最小二乘法所用的方程$A^{T}Ax=A^{T}b$,其计算误差比$Ax=b$大很多。