线性和非线性方程数值解法_数值分析计算方法

传送门：
线性和非线性方程数值解法_数值分析计算方法
插值与逼近_数值分析计算方法

0 绪论

1 非线性方程数值解法

1.1 二分法

使用的条件

1. 区间首尾异号
2. 区间内连续
3. 仅有一个根

步骤

先判断是否满足使用的条件，再使用
误差限的计算

1.2 迭代法

单点迭代法

将 $f(x)=0$ 改写成 $x=\varphi (x)$，
建立迭代公式 $x_{k+1}=\varphi (x_k)$，
在根附近任取一点$x_0$，若得到的序列收敛于$\alpha$且$\varphi (x)$连续

多点迭代法

$x_{k+1}=\varphi (x_{k-n+1},...,x_{k-2},x_{k-1},x_k)$

迭代法的收敛性

全局收敛性：设$\alpha$为$f(x)=0$的根，如果$\forall x_0\in [a,b]$ ，由迭代法产生的序列都收敛于根$\alpha$， 则称该迭代法是全局收敛的；
局部收敛性：设方程$x=\varphi (x)$有根$\alpha$, 如果存在$\alpha$的某个邻域$\Delta :|x-\alpha |<\delta$，对任意初值$x_0\in \Delta$，迭代过程所产生的序列均收敛于根$\alpha$，则称该迭代法是局部收敛的。

迭代过程的收敛速度

$Def.$ 记$e_k=\alpha -x_k$，若$\underset{k\to \infty }{\lim }\frac{|e_{k+1}|}{|e_k{|}^p}=C\ne 0$，则称迭代过程是p阶收敛的；
特别地，当p=1时，称为线性收敛;
当p>1时，称为超线性收敛，
当p=2时，称为平方收敛.

迭代过程的效率指数

$Def.$ $EI=p^{\frac{1}{\theta }}$
为效率指数. 其中$p$表示迭代的收敛阶，$\theta$表示每步迭代的计算量.
$EI$越大，计算效率越高.

1.2.1 不动点迭代法

$Th1.1$ 设$\varphi (x)$满足：
1）当$x\in [a,b]$时，$\varphi (x)\in [a,b]$；
2）$\forall x_1,x_2\in [a,b]$，有$|\varphi (x_1)-\varphi (x_2)|\le L|x_1-x_2|,L<1$，
则对任意初值$x_0\in [a,b]$，迭代过程$x_{k+1}=\varphi (x_k)$收敛于$x=\varphi (x)$在$[a,b]$上的唯一根 ，且有误差估计式：$$|\alpha -x_k|\le \frac{L}{1-L}|x_k-x_{k-1}|$$$$|\alpha -x_k|\le \frac{L^k}{1-L}|x_1-x_0|$$

$Th1.2$ 设$\varphi (x)$在$[a,b]$上具有一阶导数，且
1）当$x\in [a,b]$时，有$\varphi (x)\in [a,b]$；
2）$\forall x\in [a,b]$，有$|{\varphi }^{\prime }(x)|\le L<1$，
则对任意初值$x_0\in [a,b]$，迭代过程$x_{k+1}=\varphi (x_k)$收敛于$x=\varphi (x)$在$[a,b]$上的唯一根。

$Th1.3$ 若$\varphi (x)$在方程$x=\varphi (x)$的根$\alpha$的邻域内有一阶连续的导数，且$|{\varphi }^{\prime }(x)|<1$，则迭代过程$x_{k+1}=\varphi (x_k)$具有局部收敛性。

$Th1.4$ 若$\varphi (x)$在方程$x=\varphi (x)$的根$\alpha$的邻域内有充分阶连续的导数，则迭代过程$x_{k+1}=\varphi (x_k)$在$\alpha$的邻域是$p$阶收敛的充要条件是$${\varphi }^{(j)}(\alpha )=0,j=1,2,...,p-1$$$${\varphi }^{(p)}(\alpha )\ne 0$$

1.2.2 牛顿迭代法

设有方程$f(x)=0$，在$f(x)=0$的根$\alpha$附近任取一点$x_0$作为初始近似根，由迭代公式$$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)}(k=0,1,2...)$$逐次逼近方程$f(x)=0$的根$\alpha$，这种求根算法称为Newton法（切线法）。

局部收敛性：
$Th$ Newton法的迭代函数是$\varphi (x)=x-\frac{f(x)}{f^{\prime }(x)}$，
若$\alpha$是$f(x)=0$的一个单根，则在根α附近Newton法是局部二阶收敛的,即 $p=2$；
若$\alpha$是$f(x)=0$的一个重根，则在根α附近Newton法是局部线性收敛的,即 $p=1$。

全局收敛性：
$Th1.5$ 设$f(x)$在有根区间$[a,b]$上二阶导数存在，且满足：
1）$f(a)f(b)<0$；
2）$f^{\prime }(x)\ne 0,x\in [a,b]$；
3）$f^{\prime \prime }(x)$不变号$,x\in [a,b]$；
4）初值$x_0\in [a,b]$且使$f^{\prime \prime }(x_0)f(x_0)>0$，
则 Newton迭代法收敛于$f(x)=0$在$[a,b]$内的唯一根。

简化Newton迭代法
$$x_{k+1}=x_k-\frac{f(x_k)}{C},k=0,1,2,...$$一般地，取$C=f^{\prime }(x_0)$. 若$|{\varphi }^{\prime }(x)|=|1-\frac{f^{\prime }(x)}{C}|<1$，则是一阶收敛的.

 
Newton下山法
$$x_{k+1}=x_k-\lambda \frac{f(x_k)}{f^{\prime }(x_k)}(0<\lambda \le 1,k=0,1,2...)$$其中$\lambda$为下山因子，$\lambda$的选取应该满足条件：$|f(x_{k+1}|<|f(x_k)|$，从而保证所得的序列是收敛的.
 

1.2.3 弦截法

由牛顿迭代法修改而来，用两点之间的弦截线代替切线，无需每次迭代都求导：
在方程$f(x)=0$的根$\alpha$附近任取两初始近似根$x_0$, $x_1$，由迭代公式
$$x_{k+1}=x_k-\frac{x_k-x_{k-1}}{f(x_k)-f(x_{k-1})}f(x_k)(k=0,1,2,...)$$逐次逼近$f(x)=0$的根$\alpha$，这种求根算法称为弦截法.
收敛阶$p=\frac{1+\sqrt{5}}{2}$，指数效率$EI=\frac{1+\sqrt{5}}{2}$
 

1.2.4 重根情形的迭代法

已知根的重数 $r$
将Newton法修正为$$x_{k+1}=x_k-r\frac{f(x_k)}{f^{\prime }(x_k)}k=0,1,2,...$$它是求$r$重根$\alpha$的二阶局部收敛格式.
[证明]

根的重数未知
将Newton法修正为$$x_{k+1}=x_k-\frac{u(x_k)}{u^{\prime }(x_k)}k=0,1,2,...$$其中 $u(x)=\frac{f(x)}{f^{\prime }(x)}$
$f(x)=0$的$r$重根就是$u(x)=0$单根，故它是求$f(x)=0$重根的二阶局部收敛格式.
[证明]

迭代加速收敛的方法

1.2.5 解非线性方程组

Newton迭代法
直观解释：每一次迭代，目标函数在局部可以近似表示成二次函数，然后以该二次函数的极值点来代替目标函数的极值点，不断重复直到收敛。

拟Newton迭代法

 

2 线性方程数值解法

线性方程组$Ax\text{Ax}Ax=b\text{b}b$，这里只讨论系数矩阵为非奇异的线性方程组。
计算机上求解线性方程组的方法：

• 直接法：其基本思想是通过等价 变换将线性方程组化为结构简单、易于求解的形 式，从而求解；
• 迭代法：基本思想是用某种极限过程逐次逼近方程组的解的方法。它具有占有储存单元少、程序设计简单、原始系数矩阵在计算过程中不变的优点，但需考虑收敛性和收 敛速度问题。

2.1 基本知识

向量的范数

1-范数：$||x|{|}_1=\sum _{i=1}^n|x_i|$
2-范数：$||x|{|}_2=(\sum _{i=1}^n{x}_i^2{)}^{\frac{1}{2}}$
$\infty$-范数：$||x|{|}_{\infty }=\underset{1\le i\le n}{\max }|x_i|$
$p$-范数：$||x|{|}_p=(\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$

（范数连续性定理）设$f(x)=||x||$为${R\text{R}R}^n$上任一向量范数，则$f(x)$是$x$的连续函数。
（范数等价性定理）设$||x|{|}_s,||x|{|}_t$为${R\text{R}R}^n$上任意两种向量范数，则存在常数$c1,c2>0$，使得$c_1||x|{|}_s\le ||x|{|}_t\le c_2||x|{|}_s，\forall x\in {R\text{R}R}^n$.
（定理）向量序列$x^{(k)}$收敛于$x^{\ast }$的充分且必要条件$||x^{(k)}-x^{\ast }||\to 0,k\to \infty$ ，其中$||\cdot ||$是任一向量范数.

矩阵的范数
…
$||A|{|}_F=(\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}^2{)}^{\frac{1}{2}}$

对于给定向量范数$||\cdot ||$和矩阵范数$||\cdot ||$，如果对任何向量$x\in {R\text{R}R}^n$ (或${C\text{C}C}^n$)和$A\in {R\text{R}R}^{n\ast n}$(或${C\text{C}C}^{n\ast n}$)，都有不等式$||Ax||\le ||A||\cdot ||x||$成立，则称所给的矩阵范数与向量范数是相容的。

1-范数（列和范数）：$||A|{|}_1=\underset{1\le j\le n}{\max }\sum _{i=1}^n|a_{ij}|$
2-范数（谱范数）：$||A|{|}_2=\sqrt{\rho (A^{H}A)}$，$A^H$是$A$的共轭转置矩阵
$\infty$-范数（行和范数）：$||A|{|}_{\infty }=\underset{1\le i\le n}{\max }\sum _{j=1}^n|a_{ij}|$

定义设n阶方阵A的特征值为${\lambda }_1,{\lambda }_2,...,{\lambda }_n$，则称$\rho (A)=\underset{1\le i\le n}{\max }|{\lambda }_i|$为$A$的谱半径。
对于任意从属范数$||\cdot ||$，$\rho (A)\le ||A||$；
但当$A$是正规矩阵，即$A{A}^H$ = $A^{H}A$时，$\rho (A)=||A|{|}_2$；
显然若A为实对称矩阵，则$\rho (A)=||A|{|}_2$；
矩阵范数也有相应向量范数三个定理（范数连续性、范数等价性、向量序列收敛的充要条件）结论。

设$A$为非奇异矩阵，称数$con{d}_v(A)=||A|{|}_v||A^{-1}|{|}_v$为矩阵$A$的条件数.
$con{d}_v(A)=||A|{|}_v||A^{-1}|{|}_v\ge ||A{A}^{-1}|{|}_v=1$

2.2 直接法

2.2.1 Gauss消去法

但如果主元素的绝对值很小，用它除数，势必造成舍入误差的严重扩散，以致于方程组的解的精度受到严重影响，于是有：
选列主元的Gauss消去法
全选主元的Gauss消去法
ZJU的PPT

2.2.2 矩阵三角分解法

Doolittle分解法（直接三角分解法）
如果$A$的所有顺序主子式均不为零，则$A$可唯一分解为$A=LU$，其中$L$为单位下三角阵，$U$为上三角阵。
原方程组$Ax=B$，可改写为$LUx=B$，令$y=Ux$可利用$L(Ux)=Ly=B$求出$y$，再由$y=Ux$求$x$。
1）先求$L,U$，$O(\frac{n^3-n}{3})$

$L$从左往右逐列求，$U$从上往下逐行求
求出$U$的前$k-1$行与$L$的前$k-1$列后，第$k$步中计算$U$的第$k$行、$L$的第$k$列元素的公式为：

2）由$Ly=B$求$y$，$O(n^2)$

3）由$y=Ux$求$x$，$O(n^2)$

Crout分解法
$A=\hat{L}\hat{U}$，其中$\hat{L}$为下三角阵，$\hat{U}$为单位上三角阵。

Cholesky分解法（对称正定矩阵方程组的平方根法）
若$A$满足：
1）对称性，$A^T=A$
2）正定性，$x^{T}Ax>0,\forall x\in {\text{R}}^n,x\ne 0$
则$A$可分解为$A=L{L}^T$，$L$为非奇异下三角矩阵。

改进的 Cholesky 分解

三对角方程组的追赶法
若

满足

则可以分解

于是可以计算

2.2.3 误差分析

线性代数方程组计算中得到近似计算结果的原因：
1）计算机的字长有限，不可避免地产生舍入误差；
2）初始数据有问题：由于系数矩阵$A$和右端项$b$元素带有某些观测误差，往往不是准确给出，或$A,b$元素是计算结果，包含舍入误差。

方程组$Ax=b$的右端$b$的扰动对解$x$的影响

方程组$Ax=b$的系数阵$A$的扰动对解$x$的影响

2.3 迭代法

2.3.1 迭代法的收敛性

Th1）设$B\in {\text{K}}^{n\ast n}$，$\underset{k\to \infty }{\lim }{B}^k$的充分必要条件是$\rho (B)<1$
Th2）（迭代法的基本收敛定理）迭代过程 $x^{k+1}=B{x}^k+g$ 对于任意初始向量$x^{(0)}$及右端向量$g$均收敛的充分必要条件是迭代矩阵$B$的谱半径$\rho (B)<1$, 并且$\rho (B)$愈小，收敛速度愈快。
由此可知：迭代法的收敛性与收敛速度与迭代矩阵$B$有关，而与右端向量$g$和初始向量$x^{(0)}$无关。

2.3.2 迭代法的误差估计

设$x^{\ast }$为方程组$Ax=b$的精确解. 若迭代法 $x^{k+1}=B{x}^k+g$ 的迭代矩阵$B$满足$||B||<1$，其中$||\cdot ||$是某种算子范数，则对于任意的初始向量$x^{(0)}$与右端向量$g$迭代法收敛，且有如下两个误差估计式:

2.3.3 基本迭代方法

2.3.4 Jacobi迭代法（同步迭代法）

2.3.5 高斯-赛德尔(Gauss-Seidel)迭代法（异步迭代法）

2.3.6 超松弛迭代法(SOR方法)

超松弛法收敛的必要条件为$0<\omega <2$

2.3.7 某些特殊方程组迭代法的收敛性

Th.1 若线性方程组$Ax=b$的系数矩阵$A$为对称正定阵，则Gauss-Seidel迭代法收敛.
Th.2 若线性方程组$Ax=b$的系数矩阵$A$为对称正定阵，则当$0<\omega <2$时, SOR方法收敛.

Def 称方阵$A=(a_{ij}{)}_{nn}$为严格对角占优的，如果$\sum _{j=1,j\ne i}^n|a_{ij}|<|a_{ii}|(i=1,2,...,n)$或$\sum _{j=1,j\ne i}^n|a_{ij}|<|a_{jj}|(j=1,2,...,n)$
Th.3 若线性方程组$Ax=b$的系数方阵$A=(a_{ij}{)}_{nn}$是按行(或按列)严格对角占优的，则 Jacobi迭代法 和 Gauss-Seidel迭代法 都是收敛的。
Th.4 若线性方程组$Ax=b$的系数矩阵$A$为严格对角占优矩阵，则当$0<\omega \le 1$时，SOR方法收敛。
Th.5 设$A$是具有正对角线元素的对称矩阵，则解线性方程组$Ax=b$的Jacobi迭代法收敛的充分必要条件是$A$和$2D-A$都为对称正定阵。

2.4 梯度法

 
ZJU的课件地址

---

任何组织或个人未经作者授权许可，均不得以任何方式或理由全文转载以及全文复制；

也不得修改、改编、盗链或制作镜像等。