计算方法：非线性方程和方程组的数值解法（第一部分）

非线性方程的单根、重根：

           \,\,\,\,\,\,\,\,\,\, 给定非线性方程$f(x)=0$:

• 设有正整数 m 使得 $f(x)=(x-a{)}^{m}g(x)$且$g(a)\ne 0$，则当 m≥2 时，称 α 为$f(x)=0$的 m重根；当 m =1 时，称 α 为$f(x)=0$的单根。
• 若 α 为$f(x)=0$的 m重根的充要条件：$f(a)=f^{\prime }(a)=...=f^{m-1}(a)=0，f^m(a)\ne 0$。

数值方法解非线性方程的根：

• 二分法
• 迭代法：
  • 单点迭代法（不动点迭代， Newton 迭代法等）
  • 多点迭代法（弦截法等）

（一）迭代法的基本理论：

           \,\,\,\,\,\,\,\,\,\, 迭代法是一种逐次逼近的方法，它的基本思想是通过构造一个递推关系式 迭代格式 ) ，计算出根的近似值序列 并要求该序列收敛于方程的根。

• （一）单点迭代法的基本形式：（以Picard不动点迭代法为例）
             \,\,\,\,\,\,\,\,\,\, 1.建立迭代公式：将方程f(x)=0改写成等价形式x=φ(x)，进而得$x_{k+1}=\phi (x_k)$。
             \,\,\,\,\,\,\,\,\,\, 2.判断迭代序列是否收敛：由迭代公式$x_{k+1}=\phi (x_k)$可得序列$\{x_k{\}}_{k=0}^{\infty }$。需要首先判断该序列是否收敛，即是否存在α使得$\underset{k->\infty }{\lim }{x}_k=\alpha$。
             \,\,\,\,\,\,\,\,\,\, 3.求出根的数值解：因为有$x_{k+1}=\phi (x_k)$，则方程两边同时对k趋近于无穷取极限，有$\underset{k->\infty }{\lim }{x}_k=\alpha$，而且$\underset{k->\infty }{\lim }\phi (x_k)=\phi (\alpha )$。进而可知α满足等式x=φ(x)，从而α是迭代函数φ(x)的不动点（不断迭代的过程中，函数值在此处保持不动）。因此α也是方程f(x)=0的一个根。
• （二）多点迭代法的基本形式：
             \,\,\,\,\,\,\,\,\,\, 建立迭代公式时，迭代函数是一个n元函数。即$x_{k+1}=\phi (x_k,x_{k-1},x_{k-2},...,x_{k-n+1})$。其余与单点迭代法相似。
• （三）迭代法的主要性能指标：
  • 1.收敛：
    • 全局收敛性：设α为$f(x)=0$的根，如果 $\forall x_0\in [a,b]，[a,b]是f(x)的定义域，x_0是迭代法的初始值$，由迭代法产生的序列都收敛于根α则称该迭代法是全局收敛的。
    • 局部收敛性： 设α为$f(x)=0$的根 , 如果存在α 的某个邻域Δ:|x-α|≤δ，对任意初值$x_0$迭代过程中所产生的序列均收敛于根 α ，则称该迭代法是局部收敛的。
  • 2.收敛速度：
               \,\,\,\,\,\,\,\,\,\, 设由迭代公式$x_{k+1}=\phi (x_k)$得到的序列$\{x_k{\}}_{k=0}^{\infty }$收敛于根α，记$e_k=\alpha -x_k$，则若有$\underset{k->\infty }{\lim }\frac{|e_{k+1}|}{|e_k{|}^p}=C\ne 0，(p>0)$，称该迭代过程是p阶收敛的（特别地，当p=1时，C要<1才能收敛）。
               \,\,\,\,\,\,\,\,\,\, p值越大，收敛的速度越快。且一般称p=1为线性收敛；p=2为平方收敛；p>1也统称为超线性收敛。
  • 3.计算效率：
               \,\,\,\,\,\,\,\,\,\, 使用收敛阶p，定义计算效率。EI=$p^{\frac{1}{\theta }}$为计算效率的表达式。p 表示迭代的收敛阶，θ表示每步迭代的计算量。EI越大，计算效率越高。
    

（二）不动点迭代法：

• 不动点迭代法的全局收敛性质：
  • 定理：
               \,\,\,\,\,\,\,\,\,\, 使用不动点迭代法$x_{k+1}=\phi (x_k)$解$f(x)=0$的根。如果迭代函数φ(x)在其定义域[a,b]上满足φ(x)$\in$[a,b]。而且满足$\forall x_1,x_2\in [a,b];\exists L<1:\frac{|\phi (x_1)-\phi (x_2)|}{|x_1-x_2|}\le L,(x_1\ne x_2)$。那么$\{x_k{\}}_{k=0}^{\infty }$就对于任意选定的迭代初始值$x_0$，全局收敛到$f(x)=0$的唯一根α。
  • 证明：
               \,\,\,\,\,\,\,\,\,\, 首先证明序列$\{x_k{\}}_{k=0}^{\infty }$全局收敛到$f(x)=0$的根α。不妨设$e_k=|x_k-\alpha |$。因为$\phi (\alpha )=\alpha$，从而有$e_k=|x_k-\alpha |=|\phi (x_{k-1})-\phi (\alpha )|$.又因为根据已知的条件$|\phi (x_{k-1})-\phi (\alpha )|<|x_{k-1}-\alpha |$。从而就有$e_k<e_{k-1}$对于任意k都满足该关系。因为$e_k$是严格单调递减的非负序列，因此它必将收敛到0。
               \,\,\,\,\,\,\,\,\,\, 再证明根的唯一性：使用反证法，假设有两个不相等的根${\alpha }_1,{\alpha }_2$满足等式$\phi (x)=x$。那么根据定理的条件，就一定有$|\phi ({\alpha }_1)-\phi ({\alpha }_2)|<|{\alpha }_1-{\alpha }_2|$。于是得出矛盾，因而证得根的唯一性。
  • 补充：（k次迭代后的误差分析）
               \,\,\,\,\,\,\,\,\,\, 不妨设误差${\delta }_k=|x_k-x_{k-1}|$。因为根据已知的条件$|\phi (x_{k-1})-\phi (x_{k-2})|\le L|x_{k-1}-x_{\ast k-2}|$。则有${\delta }_k\le L(e_{k-1})$。
               \,\,\,\,\,\,\,\,\,\, 那么，设p是一个正整数，$|x_{k+p}-x_k|=|x_{k+p}-x_{k+p-1}|+|x_{k+p-1}-x_{k+p-2}|+...+|x_{k+1}-x_k|=\sum _{i=k+1}^{k+p}{\delta }_i=(L^p+L^{p-1}+...+L){\delta }_k$。进而根据等比序列的求和公式，有$|x_{k+p}-x_{k-1}|=\frac{L-L^{p+1}}{1-L}{\delta }_k$。
               \,\,\,\,\,\,\,\,\,\, 对p取极限，就有$\underset{p->\infty }{\lim }|x_{k+p}-x_k|=\frac{L}{1-L}{\delta }_k=|\alpha -x_k|=\frac{L^k}{1-L}|x_1-x_0|$
• 不动点迭代法的局部收敛性质：
  • 定理：
               \,\,\,\,\,\,\,\,\,\, 不动点迭代法$x_{k+1}=\phi (x_k)$在函数$f(x)=0$的根α的邻域是p阶收敛的冲要条件是：迭代函数φ(x)在α的邻域上有着充分阶连续的导数使得${\phi }^{\prime }(\alpha )=0,{\phi }^{\prime \prime }(\alpha )=0,...,{\phi }^{p-1}(\alpha )=0;{\phi }^p(\alpha )\ne 0$。
  • 证明： 
               \,\,\,\,\,\,\,\,\,\, 先证明条件的充分性：因为要证明迭代法在函数$f(x)=0$的根α的邻域是p阶收敛。就是要证明$\underset{k->\infty }{\lim }\frac{|\alpha -x_{k+1}|}{|\alpha -x_k{|}^p}=C\ne 0$。因为迭代函数φ(x)在α的邻域上有着充分阶连续的导数，则可以在x=α处写出迭代函数φ(x)的带有佩亚诺余项的泰勒展开式：$x_{k+1}=\phi (x_k)=\phi (\alpha )+\frac{{\phi }^{\prime }(\alpha )}{1!}(x_k-\alpha )+\frac{{\phi }^{\prime \prime }(\alpha )}{2!}(x_k-\alpha {)}^2+...+\frac{{\phi }^{p-1}(\alpha )}{(p-1)!}(x_k-\alpha {)}^{p-1}+\frac{{\phi }^p(\alpha )}{(p)!}(x_k-\alpha {)}^p+o[(x_k-\alpha {)}^p]$。而因为函数φ(x)的前p-1阶导数都是0，可得：$\underset{k->\infty }{\lim }\frac{|\alpha -x_{k+1}|}{|\alpha -x_k{|}^p}=\frac{{\phi }^p(\alpha )}{(p)!}\ne 0$。进而可知迭代函数在α邻域上是p阶收敛的。
               \,\,\,\,\,\,\,\,\,\, 再证明条件的必要性：因为$\underset{k->\infty }{\lim }\frac{|\alpha -x_{k+1}|}{|\alpha -x_k{|}^p}=C\ne 0$，因为k趋近于无穷的极限过程亦即$x_k$趋近α的过程，从而有$(|\phi (\alpha )-\phi (x_k)|=|\alpha -x_{k+1}|=C(|\alpha -x_k{|}^p)+o[|\alpha -x_k{|}^p]$。进而有$\phi (x_k)=\pm \phi (\alpha )+C(|\alpha -x_k{|}^p)+o[|\alpha -x_k{|}^p](\alpha 邻域内成立)$。从而可以得到${\phi }^{\prime }(\alpha )=0,{\phi }^{\prime \prime }(\alpha )=0,...,{\phi }^{p-1}(\alpha )=0;{\phi }^p(\alpha )=Cp!\ne 0$。（PS:必要性也可以通过反证法结合充分性进行证明。）