数值计算方法第二章—非线性方程的数值解法

非线性方程的数值解法

初始近似值的搜索

• 方程的根

  $f(x^{\ast })=0$ ，$x^{\ast }$ 为 $f(x)$ 的根

  ---

  单根和重根

  $f(x^{\ast })$ 有 $m$ 重根 $x^{\ast }$ 的充要条件是
  $$f(x^{\ast })=f^{\prime }(x^{\ast })=\cdots =f^{(m-1)}(x^{\ast })=0$$

  $$f^{(m)}(x^{\ast })\ne 0$$

  例： 求 $x=0$ 是方程 $f(x)=e^{2x}-1-2x-2x^2=0$ 的几重根

  解：$f(x)=e^{2x}-1-2x-2x^{2}f(0)=0$

  $f^{\prime }(x)=2e^{2x}-2-4x{f}^{\prime }(0)=0$

  $f^{\prime \prime }(x)=4e^{2x}-4f^{\prime \prime }(0)=0$

  $f^{\prime \prime \prime }(x)=8e^{2x}{f}^{\prime \prime \prime }(0)=8\ne 0$

  故 $x=0$ 是 $f(x)$ 的三重根

  ---

  • 有根区间

    $f(x)=0$ 在有根区间 $[a,b]$ 内至少有一个根

    ---

    $f(x)$ 在区间 $[a,b]$ 上连续，且 $f(a)f(b)<0$ ，则$f(x)=0$ 在区间 $[a,b]$ 内至少有一个根

  • 隔根区间

    $f(x)=0$ 在隔根区间 $[a,b]$ 内只有一个根

    ---

    $f(x)$ 在区间 $[a,b]$ 上单调连续，且 $f(a)f(b)<0$ ，则$f(x)=0$ 在区间 $[a,b]$ 内有且仅有一个根

• 逐步搜索法

  $f(x)$ 的有根区间 $[a,b]$ ，不妨假定 $f(a)<0$ ，从 $x_0=a$ 出发，按步长 $h$ 一步一步向右跨。一旦 $x_k=a+kh$ 上的 $f(x_k)$ 与 $f(a)$ 异号，则确定了缩小的有根区间 $[x_{k-1},x_k]$

• 区间二分法（只能求单根）

  $f(x)$ 在隔根区间 $[a,b]$ 上单调连续，则不断计算 $f(\frac{a+b}{2})$

  ---

  误差分析

  取有根区间 $[a_k,b_k]$ 的中点
  $$x_k=\frac{1}{2}(a_k+b_k)$$
  作为根的近似值，则此时的误差
  $$|x^{\ast }-x_k|\le \frac{1}{2}(b_k-a_k)=\frac{1}{2^{k+1}}(b-a)$$
  若事先给定误差要求为 $\epsilon$ ，则只需
  $$|x^{\ast }-x_k|\le \frac{1}{2^{k+1}}(b-a)<\epsilon$$
  即可停止运算

  此时二分最小次数 $k$ ，由 $|x^{\ast }-x_k|\le \frac{1}{2^{k+1}}(b-a)<\epsilon$ 得 $2^{k+1}>\frac{b-a}{\epsilon }$
  $$k>\frac{lg(b-a)-lg\epsilon }{lg2}-1$$

迭代法

• 不动点迭代法
  $$f(x)=0⟷x=g(x)$$
  从初值 $x_0$ 出发，计算 $x_1=g(x_0),x_2=g(x_1),\cdots ,x_{k+1}=g(x_k),\cdots$ ，若存在 $x^{\ast }$ 使得 $\underset{k\to \infty }{\lim }{x}_k=x^{\ast }$ ，且 $g(x)$ 连续，则 $x^{\ast }=g(x^{\ast })$ ，即 $x^{\ast }$ 是 $g$ 的不动点，也就是 $f$ 的根

  ---

• 不动点迭代的收敛性

  设 $\phi (x)$ 在区间 $[a,b]$ 上具有连续的一阶导数，且满足

  1. 当 $x\in [a,b]$ 时，$\phi (x)\in [a,b]$

  2. $\exists 0\le L<1$ ，使得对所有的 $x\in [a,b]$ ，有

  $$|{\phi }^{\prime }(x)|\le L$$

  则方程 $x=\phi (x)$ 在区间 $[a,b]$ 上的解 $x^{\ast }$ 存在且唯一。对任意的 $x_0\in [a,b]$ ，迭代过程 $x_{k+1}=\phi (x_k)$ 均收敛于 $x^{\ast }$ 。$L$ 越小，收敛越快

  并且有误差估计式

  • $|x^{\ast }-x_k|\le \frac{L}{1-L}|x_k-x_{k-1}|$
  • $|x^{\ast }-x_k|\le \frac{L^k}{1-L}|x_1-x_0|$

  ---

  设在区间 $[a,b]$ 上方程 $x=\phi (x)$ 有根 $x^{\ast }$ ，且对任意 $x\in [a,b]$ 有 $|{\phi }^{\prime }(x)|\ge 1$ ，则对任意 $x_0(\ne x^{\ast })\in [a,b]$ ，迭代过程 $x_{k+1}=\phi (x_k)$ 一定发散

  例： 求 $x^3-2x-5=0$ 的最小正根

  解： 用试凑法得 $f(2)=-1$ ，$f(3)=16$ ，故 $x^{\ast }\in [2,3]$

  若取迭代格式 $x_{k+1}=\frac{2x_k+5}{x_k^2}$ ，则 $\phi (x)=\frac{2x+5}{x^2}$，故 ${\phi }^{\prime }(x)=\frac{-2(x+5)}{x^3}$

  得 ${\phi }^{\prime }(2)=-\frac{14}{8}$ ，即 $\underset{2\le x\le 3}{\max }|{\phi }^{\prime }(x)|>1$ ，故此迭代发散

  将原方程改写成 $x=\sqrt[3]{2x+5}$ ，则 ${\phi }^{\prime }(x)=\frac{2}{3}(2x+5{)}^{-\frac{2}{3}}$

  得 $\underset{2\le x\le 3}{\max }|{\phi }^{\prime }(x)|=0.94<1$ , 迭代收敛

  取 $x_{k+1}=\sqrt[3]{2x_k+5},k=0,1,2,\cdots$

  选初值 $x_0=2.5$ （区间内任选），迭代后得 $x^{\ast }=2.0946$

  • 局部收敛性

    设 $\phi (x)$ 在 $x=\phi (x)$ 的根 $x^{\ast }$ 附近连续，且有
    $$|{\phi }^{\prime }(x^{\ast })|<1$$
    则迭代格式 $x_{k+1}=\phi (x_k)$ 在 $x^{\ast }$ 附件具有局部收敛性

    因为实际中 $x^{\ast }$ 事先不知道，但初值在根领域，根据 ${\phi }^{\prime }(x)$ 的连续性，可采用
    $$|{\phi }^{\prime }(x_0)|<1$$
    来代替 $|{\phi }^{\prime }(x^{\ast })|<1$ ，判断迭代收敛性

    例： 方程 $x^3-x-1=0$ 在 $x=1.5$ 附近有根，把方程写出三种不同的等价形式

    1. $x=\sqrt[3]{x+1}$
    2. $x=\sqrt{1+\frac{1}{x}}$
    3. $x=x^3-1$

    迭代格式在 $x_0=1.5$ 处不收敛的是（）

    解： 对各等价形式求导得 ${\phi }^{\prime }(x)$

    分别求出 ${\phi }^{\prime }(x_0)$ ，若其大于一，则迭代不收敛

    故选 3

  ---

• 迭代过程的收敛速度

  设迭代过程 $x_{k+1}=\phi (x_k)$ 收敛于 $x=\phi (x)$ 的根 $x^{\ast }$ ，令迭代误差 $e_k=x_k-x^{\ast }$ ，若存在常数 $p(p\ge 1)$ 和 $c(c>0)$ ，使得
  $$\underset{k\to +\infty }{\lim }\frac{|e_{k+1}|}{|e_k{|}^p}=c$$
  则称序列 $x_k$ 是 $p$ 阶收敛的

  $p=1$ 时称线性收敛，$p=2$ 时称平方收敛或二次收敛

  ---

  简单判断方法

  对迭代过程 $x_{k+1}=\phi (x_k)$ ，若 ${\phi }^{(p)}(x)$ 在所求根 $x^{\ast }$ 领域连续，且
  $${\phi }^{\prime }(x^{\ast })={\phi }^{\prime \prime }(x^{\ast })=\cdots ={\phi }^{(p-1)}(x^{\ast })=0$$

  $${\phi }^{(p)}(x^{\ast })\ne 0$$

  则迭代过程在 $x^{\ast }$ 领域是 $p$ 阶收敛的

  例： 迭代过程 $x_{k+1}=\frac{2}{3}{x}_k+\frac{1}{x_k^2}$ 收敛于 $x^{\ast }=\sqrt[3]{3}$ 时，求其收敛速度

  解： 令 $\phi (x)=\frac{2}{3}x+\frac{1}{x^2}$

  有 ${\phi }^{\prime }(x_0)=0$，${\phi }^{\prime \prime }(x_0)\ne 0$

  故 $x_k$ 平方收敛

  ---

  • ${\phi }^{\prime }(x^{\ast })\ne 0$ 最多线性收敛
  • ${\phi }^{\prime }(x^{\ast })=0$ 至少平方收敛

  ---

• 迭代加速

  加权法加速

  设 $x_k$ 是根 $x^{\ast }$ 的近似值，在 $[x_k,x^{\ast }]$ 上 ${\phi }^{\prime }(x)$ 变化不大，其估计值为 $c$ ，则有加权法加速公式
  $$x_{k+1}=\frac{1}{1-c}[\phi (x_k)-c{x}_k]$$

  例： 用加权法加速求方程 $x=e^{-x}$ 在 0.5 附近的一个根

  解： 因为在 $x_0=0.5$ 附近有
  $${\phi }^{\prime }(x){|}_{0.5}=-e^{-x}{|}_{0.5}=-e^{-0.5}\approx -0.6$$
  故加速迭代公式写成
  $$x_{k+1}=\frac{1}{1.6}(e^{-x_k}+0.6x_k)$$

牛顿迭代法

• 迭代公式的建立

  对于非线性方程 $f(x)=0$ ，若 $f^{\prime }(x_k)\ne 0$ ，建立迭代格式
  $$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)},k=0,1,\cdots$$
  相应的迭代函数
  $$\phi (x)=x-\frac{f(x)}{f^{\prime }(x)}$$

  牛顿迭代法的计算步骤：

  1. 给出 $x_0$ , $\epsilon$ ，$N$
  2. 计算 $x_1=x_0-\frac{f(x_0)}{f^{\prime }(x_0)}$
  3. 若 $|x_1-x_0|<\epsilon$ 则转 4， 否则 $x_0=x_1$ ，转步骤 2
  4. 输出 $x_1$ ，结束

• 牛顿迭代法的收敛情况

  • 局部收敛性

    设 $f(x^{\ast })=0$ ，$f^{\prime }(x^{\ast })\ne 0$ ，$f^{\prime \prime }(x^{\ast })$ 在 $x^{\ast }$ 邻域连续，则牛顿迭代法在 $x^{\ast }$ 局部收敛，且至少 2 阶收敛，并有
    $$\underset{k\to \infty }{\lim }\frac{e_{k+1}}{e_k^2}=\frac{f^{\prime \prime }(x^{\ast })}{2f^{\prime }(x^{\ast })}$$

    例： 设函数 $f(x)=(x^3-a{)}^2$ ，写出解 $f(x)=0$ 的牛顿迭代格式，并证明此格式的收敛阶

    解： $f(x)=(x^3-a{)}^2$ ，$f^{\prime }(x)=6(x^3-a)x^2$

    故迭代格式为 $x_{k+1}=x_k-\frac{(x_k^3-a{)}^2}{6(x_k^3-a)x_k^2}=\frac{5}{6}{x}_k+\frac{a}{6x_k^2}$

    迭代函数 $\phi (x)=\frac{2}{3}x+\frac{a}{3x^2}$ ，${\phi }^{\prime }(x)=\frac{2}{3}-\frac{2a}{3x^3}$ ，又有 $x^{\ast }=\sqrt[3]{a}$

    故 ${\phi }^{\prime }(\sqrt[3]{a})=0.5<1\ne 0$ ，故牛顿迭代法线性收敛

  ---

• 牛顿迭代法的修正

  • 简化牛顿迭代法（平行弦法）

    简化牛顿迭代法为 $x_{k+1}=x_k-\frac{f(x_k)}{c}$ ，其中 $c$ 为常数

    $c$ 一般取 $c=f^{\prime }(x_0)$

  • 牛顿下山法

    牛顿下山法需要满足所选初值能使函数值单调下降，即下山条件
    $$|f(x_{k+1})|<|f(x_k)|$$
    加入权值 $\lambda$ ，有迭代公式
    $$x_{k+1}=x_k-\lambda \frac{f(x_k)}{f^{\prime }(x_k)}$$
    其中 $\lambda$ 为下山因子

    下山因子的选择是逐步探索进行的，从 $\lambda =1$ 开始反复将 $\lambda$ 的值减半进行试算，一旦单调下降条件成立，则下山成功；反之，下山失败，需要**另选初值 **$x_0$ 重算

    牛顿下山法运算步骤

    1. 给出初值 $x_0$ ，${\epsilon }_{\lambda }$
    2. 令 $\lambda =1$
    3. 由 $x_0$ 计算 $x_1$ ，$x_0-\lambda \frac{f(x_0)}{f^{\prime }(x_0)}\to x_1$
    4. 若 $|f(x_1)|<|f(x_0)|$ ，下山成功，$x_1\to x_0$ 转牛顿法
    5. 否则若 $\lambda <{\epsilon }_{\lambda }$ ，下山失败，停止迭代，另选初值 $x_0$
    6. $\frac{\lambda }{2}\to \lambda$ ，返回步骤 3

  • 重根时的修正（重根数已知）

    当 $x^{\ast }$ 是 $f(x)=0$ 的 $m(m\ge 2)$ 重根时，牛顿法仅为线性收敛。改进牛顿法
    $$x_{k+1}=x_k-m\frac{f(x_k)}{f^{\prime }(x_k)}$$
    是二阶收敛的方法

弦截法

• 单点弦法

  $x_{k+1}=x_k-\frac{f(x_k)}{f(x_k)-f(x_0)}(x_k-x_0),k=1,2,\cdots$

• 双点弦法（收敛速度低于牛顿迭代法，高于不动点迭代法）

  $x_{k+1}=x_k-\frac{f(x_k)}{f(x_k)-f(x_{k-1})}(x_k-x_{k-1}),k=1,2,\cdots$