数值分析（只为应付考试）

概述

研一时为应付高等工程数学考试整理的有关数值分析部分的内容，目的是为了应付考试。

误差

误差限与有效数字的联系

对于有 $n$ 位有效数字的 $x$ 的近似值 $x^{\ast }$, 其科学计数法表示形式 $x^{\ast }=a_1.a_2...a_n\times 10^m(a_1\ne 0)$
$$\begin{array}{llccccc}绝对误差限& :& |e|& =& |x^{\ast }-x|& \le & \frac{1}{2}\ast 10^{m+1-n}\\ & & & & & & \\ 相对误差限& :& |e_r|& =& \frac{|x^{\ast }-x|}{|x|}\approx \frac{|x^{\ast }-x|}{|x^{\ast }|}& \le & \frac{1}{2\ast a_1}\ast 10^{1-n}\end{array}$$

函数逼近与曲线拟合

函数内积

• 连续型
  $$(f,g)={\int }_a^b\rho (x)\times f(x)\times g(x)dx$$

• 离散型

  $x$	$x_0$	$x_1$	$x_2$	$x_3$
  $f(x)$	$f(x_0)$	$f(x_1)$	$f(x_2)$	$f(x_3)$
  $g(x)$	$g(x_0)$	$g(x_1)$	$g(x_2)$	$g(x_3)$

  $$\begin{array}{llcc}(f,g)& =& f^{T}g& 向量内积\end{array}$$

线性无关函数族

• 线性无关的函数族: $\{1,x,x^2,...,x^n,...\}$
• 线性相关的函数族: $\{1,x,2x,...,nx,...\}$

法方程组

$$G_n\cdot A=D$$

其中: G n = [ ( φ 0 , φ 0 ) ( φ 0 , φ 1 ) ⋯ ( φ 0 , φ n ) ( φ 1 , φ 0 ) ( φ 1 , φ 1 ) ⋯ ( φ 1 , φ n ) ⋮ ⋮ ⋮ ( φ n , φ 0 ) ( φ n , φ 1 ) ⋯ ( φ n , φ n ) ] n + 1    A = [ a 0 a 1 . . . a n ]     D = [ ( φ 0 , f ) ( φ 1 , f ) . . . ( φ n , f ) ] G_n=\left[\begin{array}{cccc} \left(\varphi_0, \varphi_0\right) & \left(\varphi_0, \varphi_1\right) & \cdots & \left(\varphi_0, \varphi_n\right) \\ \left(\varphi_1, \varphi_0\right) & \left(\varphi_1, \varphi_1\right) & \cdots & \left(\varphi_1, \varphi_n\right) \\ \vdots & \vdots & & \vdots \\ \left(\varphi_n, \varphi_0\right) & \left(\varphi_n, \varphi_1\right) & \cdots & \left(\varphi_n, \varphi_n\right) \end{array}\right]_{n+1} \ \ A = \left[\begin{array}{lll} a_0 \\ a_1 \\... \\ a_n \end{array} \right] \ \ \ D= \left[\begin{array}{lll} (\varphi_0, f) \\ (\varphi_1,f) \\... \\ (\varphi_n, f) \end{array} \right] Gn​= ​(φ0​,φ0​)(φ1​,φ0​)⋮(φn​,φ0​)​(φ0​,φ1​)(φ1​,φ1​)⋮(φn​,φ1​)​⋯⋯⋯​(φ0​,φn​)(φ1​,φn​)⋮(φn​,φn​)​ ​n+1​  A= ​a0​a1​...an​​ ​   D= ​(φ0​,f)(φ1​,f)...(φn​,f)​ ​

正交函数族

• 三角函数族 $\{1,cosx,sinx,cos(2x),sin(2x),...\}$
• Legendre(勒让德)多项式 $\{1,x,\frac{1}{2}(3x^2-1),\frac{1}{2}(5x^3-3x),\frac{1}{8}(35x^4-30x^2+3)...\}$
• Chebyshev(切比雪夫)多项式 $\{1,x,2x^2-1,4x^3-3x,8x^4-8x^2+\mathrm{1...},cos(n\times arccos(x))\}$

多项式的正交化算法

正交多项式递推公式
$$g_{k+1}(x)=(x-{\alpha }_k)\times g_k(x)-{\beta }_k\times g_{k-1}(x),k=0,1,2,\cdots$$
其中:
$$\{\begin{array}{llc}{\alpha }_k& =& \frac{(x\times g_k,g_k)}{(g_k,g_k)}\\ {\beta }_k& =& \frac{(g_k,g_k)}{(g_{k-1},g_{k-1})}\\ {\beta }_0& =& 0\\ g_0(x)& =& 1\end{array}$$
算法流程

1. 由 $g_k(x)$ 计算出 ${\alpha }_k,{\beta }_k$
2. 由 $g_{k-1}(x),g_k(x)$ 通过递推公式得到 $g_{k+1}(x)$

法方程组

$$G_n\cdot A=D$$

其中: G n = [ ( g 0 , g 0 ) 0 ⋯ 0 0 ( g 1 , g 1 ) ⋯ 0 ⋮ ⋮ ⋮ 0 0 ⋯ ( g n , g n ) ] n + 1    A = [ a 0 a 1 . . . a n ]     D = [ ( g 0 , f ) ( g 1 , f ) . . . ( g n , f ) ] G_n=\left[\begin{array}{cccc} (g_0, g_0) & 0 & \cdots & 0 \\ 0& (g_1, g_1) & \cdots & 0 \\ \vdots & \vdots & & \vdots \\ 0 & 0 & \cdots & (g_n, g_n) \end{array}\right]_{n+1} \ \ A = \left[\begin{array}{lll} a_0 \\ a_1 \\... \\ a_n \end{array} \right] \ \ \ D= \left[\begin{array}{lll} (g_0, f) \\ (g_1,f) \\... \\ (g_n, f) \end{array} \right] Gn​= ​(g0​,g0​)0⋮0​0(g1​,g1​)⋮0​⋯⋯⋯​00⋮(gn​,gn​)​ ​n+1​  A= ​a0​a1​...an​​ ​   D= ​(g0​,f)(g1​,f)...(gn​,f)​ ​

故可以直接解出 $a_k=\frac{(g_k,f)}{(g_k,g_k)}$

常用的正交多项式(一): Legendre多项式

定义

积分区间在 $[-1,1]$, 权函数 $\rho (x)=1$, 由 $g_1(x)=x$ 正交化得到的多项式称为 Legendre多项式

区间变换公式

将积分区间由 $x\in [a,b]$ 转变为 $t\in [-1,1]$
$$x=\frac{b-a}{2}\times t+\frac{b+a}{2}$$
通项公式

一般使用 $P_n(x)$ 替换 ${\phi }_n(x)$ 来表示Legendre多项式

$$P_n(x)=\frac{1}{2^n\times n!}\frac{d^n}{d{x}^n}(x^2-1{)}^n$$

阶数	0	1	2	3	4
Legendre多项式	1	$x$	$\frac{1}{2}(3x^2-1)$	$\frac{1}{2}(5x^3-3x)$	$\frac{1}{8}(35x^4-30x^2+3)$

性质

• 正交性
  $$(P_k,P_k)={\int }_{-1}^{1}1\times P_k(x)\times P_k(x)dx=\frac{2}{2k+1}$$

• Legendre多项式的递推公式
  $$(n+1)\times P_{n+1}(x)=(2n+1)\times x\times P_n(x)-n\times P_{n-1}(x)$$

常用的正交多项式(二): Chebyshev多项式

定义

积分区间在 $[-1,1]$, 权函数 $\rho (x)=\frac{1}{\sqrt{1-x^2}}$, 由 $g_1(x)=x$ 正交化得到的正交多项式称为 Chebyshev多项式

通项公式

一般使用 $T_n(x)$ 替换 ${\phi }_n(x)$ 来表示Chebyshev多项式

$$T_n(x)=cos(n\times arccos(x))$$

阶数	0	1	2	3	4
Chebyshev多项式	1	$x$	$2x^2-1$	$4x^3-3x$	$8x^4-8x^2+1$

性质

• 正交性
  $$(T_k,T_k)=\{\begin{array}{ll}\frac{\pi }{2}& ,k=0\\ \pi & ,k\ne 0\end{array}$$

• $T_n(x)=0$ 的解
  $$x_k=cos(\frac{2k-1}{2n}\pi )$$

最佳平方逼近及其误差(连续函数)

$n$ 次最佳平方逼近

使用 $n$ 次正交函数族来拟合给定函数

平方误差

记 $f(x)$ 是待拟合的函数, $s(x)={\sum }_{k=0}^n(a_k\times P_k(x))$ 是用来拟合的多项式
$$\begin{array}{llc}||\delta |{|}_2^2=||f(x)-s(x)|{|}_2^2& =& (f-s,f-s)\\ & & \\ & =& (f-s,f)-(f-s,s)\\ & & \\ & =& (f-s,f)\\ & & \\ & =& (f,f)-(s,f)\\ & & \\ & =& (f,f)-(f,{\sum }_{k=0}^n(a_k\times g_k))\\ & & \\ & =& (f,f)-{\sum }_{k=0}^n{a}_k\times (f,g_k)\\ & & \\ & =& (f,f)-{\sum }_{k=0}^n{a}_k\times a_k\times (g_k,g_k)\end{array}$$

• 在Legendre多项式中, $g(x)=P(x)$, 故 $(g_k,g_k)=(P_k,P_k)=\frac{2}{2k+1}$
• 在Chebyshev多项式中, $g(x)=T(x)$, 故 $(g_k,g_k)=(T_k,T_k)=\{\begin{array}{ll}\frac{\pi }{2}& ,k=0\\ \pi & ,k\ne 0\end{array}$​

曲线拟合的最小二乘法(离散数据点)

在离散的情况下, 此时无论是Legendre多项式还是Chebyshev多项式, 都不能直接使用正交性的结论, 需要根据离散情况下的内积定义进行计算 $(g_k,g_k)$

例题

给定数据表, 计算数据的二次多项式拟合

i	1	2	3	4	5
$x_i$	0	0.25	0.5	0.75	1
$y_i$	0.10	0.35	0.81	1.09	1.96
权函数 $w_i$	1	1	1	1	1

解析: 多项式的正交化算法

1. 算法开始: $g_0(x)=1$

   i	1	2	3	4	5
   $x_i$	0	0.25	0.5	0.75	1
   $y_i$	0.10	0.35	0.81	1.09	1.96
   权函数 $w_i$	1	1	1	1	1
   $g_0=1$	1	1	1	1	1

2. 计算 ${\alpha }_k,{\beta }_k$, 即 ${\alpha }_0,{\beta }_0$

   $\{\begin{array}{llc}{\alpha }_k& =& \frac{(x\times g_k,g_k)}{(g_k,g_k)}\\ {\beta }_k& =& \frac{(g_k,g_k)}{(g_{k-1},g_{k-1})}\\ {\beta }_0& =& 0\end{array}$

   i	1	2	3	4	5
   $x_i$	0	0.25	0.5	0.75	1
   $y_i$	0.10	0.35	0.81	1.09	1.96
   权函数 $w_i$	1	1	1	1	1
   $g_0=1$	1	1	1	1	1
   $x\times g_0$	0	0.25	0.5	0.75	1

   得到: ${\alpha }_0=0.5,{\beta }_0=0$

3. 通过正交多项式的递推公式 $g_{k+1}(x)=(x-{\alpha }_k)\times g_k(x)-{\beta }_k\times g_{k-1}(x)$ 得到 $g_1(x)=x-0.5$, 重复步骤(1)到(3)

   i	1	2	3	4	5
   $x_i$	0	0.25	0.5	0.75	1
   $y_i$	0.10	0.35	0.81	1.09	1.96
   权函数 $w_i$	1	1	1	1	1
   $g_0=1$	1	1	1	1	1
   $x\times g_0$	0	0.25	0.5	0.75	1
   $g_1=x-0.5$	-0.5	-0.25	0	0.25	0.5

#插值法

代数插值多项式

基本形式

$$\begin{array}{l}{P}_n(x)={\sum }_{k=0}^n(a_k\times x^k)\end{array}$$

截断误差公式(余项)

$$\begin{array}{llc}{R}_n(x)& =& \frac{f^{(n+1)}(ϵ)}{(n+1)!}{w}_{n+1}(x)\end{array}$$
其中，$w_{n+1}(x)={\prod }_{i=0}^n(x-x_i)$

不足

面对给出的 $n+1$ 组数据点

$x$	$x_0$	$x_1$	…	$x_n$
$y$	$y_0$	$y_1$	…	$y_n$

如果使用插值多项式的基本形式, 则面临解如下的一个高阶线性方程组 $X\cdot A=Y$

其中: X = [ 1 x 0 . . . x 0 n 1 x 1 . . . x 1 n . . . 1 x n . . . x n n ] ,    A = [ a 0 a 1 . . . a n ] ,    Y = [ y 0 y 1 . . . y n ] X = \left[\begin{array}{lll} 1&x_0&...&x^n_0 \\ 1&x_1&...&x^n_1\\... \\ 1&x_n&...&x^n_n \end{array} \right], \ \ A = \left[\begin{array}{lll} a_0 \\ a_1 \\... \\ a_n \end{array} \right], \ \ Y= \left[\begin{array}{lll} y_0 \\ y_1 \\... \\ y_n \end{array} \right] X= ​11...1​x0​x1​xn​​.........​x0n​x1n​xnn​​ ​,  A= ​a0​a1​...an​​ ​,  Y= ​y0​y1​...yn​​ ​

缺点: 对于 $n$ 较大的高阶线性方程组, 称为病态方程组. 不适用

Lagrange(拉格朗日)插值

Lagrange插值多项式

$$\begin{array}{llc}{P}_n(x)& =& {\sum }_{k=0}^n(l_k(x)\times y_k)\\ & & \\ & =& {\sum }_{k=0}^n(l_k(x)\times y(x_k))\end{array}$$

由代数多项式基本形式的 直接求解系数 $\Rightarrow$ Lagrange插值法的 寻找基函数 $l_k(x)$

将左边点 $(x_i,y_i)$ 代入到Lagrange插值形式中, 得到基函数 $l_k(x)$ 应该满足如下性质
$$l_i(x_j)=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$$
所以有
$$l_i(x)=\prod _{j=0,i\ne j}^{j=n}\frac{x-x_j}{x_i-x_j}$$

例题

分别使用线性插值和2次插值计算 ln(11.75) 的近似值

$x$	10	11	12	13
$y=ln(x)$	2.3026	2.3979	2.4849	2.5649

线性插值: 使用两个插值点(最接近待计算的值)

$\begin{array}{l}{L}_1(x)=\frac{(x-x_1)}{(x_0-x_1)}\cdot y_0+\frac{(x-x_0)}{(x_1-x_0)}\cdot y_1\end{array}$

2次插值: 使用三个插值点

$L_2(x)=\frac{\left(x-x_1\right)\left(x-x_2\right)}{\left(x_0-x_1\right)\left(x_0-x_2\right)}\cdot y_0+\frac{\left(x-x_0\right)\left(x-x_2\right)}{\left(x_1-x_0\right)\left(x_1-x_2\right)}\cdot y_1+\frac{\left(x-x_0\right)\left(x-x_1\right)}{\left(x_2-x_0\right)\left(x_2-x_1\right)}\cdot y_2$

Newton(牛顿)插值

差商

Newton插值多项式

$$N(x)=a_0+a_1\ast (x-x_0)+a_2\ast (x-x_0)(x-x_1)+...+a_{n-1}\ast (x-x_0)...(x-x_{n-1})$$

Newton插值的扩展: Hermite插值多项式

分段插值

对于大区间使用高阶多项式插值会产生Runge(龙格)现象 $\Rightarrow$ 对多个小区间使用低阶多项式插值

数值积分

用有限的几个点的函数值 $f(x_0),f(x_1),...,f(x_n)$ 的线性组合来近似某个区间 $[a,b]$ 上的积分
$${\int }_a^{b}f(x)dx=\sum _{k=0}^n(A_k\times f(x_k))$$
$A_k$ 称为求积系数, $x_k$ 称为求积点

• 梯形公式 ${\int }_a^{b}f(x)dx=\frac{b-a}{2}f(x_a)+\frac{b-a}{2}f(x_b)$
• 辛普森公式 ${\int }_a^{b}f(x)dx=\frac{b-a}{6}f(x_a)+\frac{4(b-a)}{6}f(\frac{x_a+x_b}{2})+\frac{b-a}{6}f(x_b)$

代数精度

求积公式是近似方法, 但希望求积公式能够对尽可能多的函数准确成立, 因此提出了代数精度的概念

定理: 在给定区间 $[a,b]$ 上, 对于给定的 $n+1$ 个互不相同的节点, 一定存在求积系数 $A_0,A_1,...A_n$, 使得求积公式至少具有 $n$ 次代数精度

插值型求积公式

$$\begin{array}{llc}{\int }_a^b\rho (x)\times f(x)dx\approx {\int }_a^b\rho (x)\times L_n(x)dx& =& {\int }_a^b\rho (x)\times {\sum }_{k=0}^n(l_k(x)\times y_k)dx\\ & & \\ & =& {\sum }_{k=0}^n(y_k\times {\int }_a^b[\rho (x)\times l_k(x)]dx)\\ & & \\ & =& {\sum }_{k=0}^n(f(x_k)\times A_k)\end{array}$$

其中: $A_k={\int }_a^b[\rho (x)\times l_k(x)]dx$, 默认情况下 $\rho (x)=1$, 故$A_k={\int }_a^b{l}_k(x)dx$

判断一个公式是否是插值型求积公式, 通过判断其求积系数是否满足 $A_k={\int }_a^b{l}_k(x)dx$. 若满足则为插值型求积公式

由上面的代数精度定理, 可以知道 $n+1$ 个互不相同的节点 $\{x_0,x_1,...,x_n\}$ 一定至少具有 $n$ 次代数精度, 进一步插值型求积公式可以通过 $A_k={\int }_a^b{l}_k(x)dx$ 来确定求积系数

例题

对 ${\int }_0^{3}f(x)dx$ 构造一个至少具有3次代数精度的求积公式

解析

1. 至少 $n=3$ 次代数精度 $\Rightarrow$ 使用具有 $n+1=4$ 个任意的插值节点的插值型求积公式必定能够满足要求, 取 $\{0,1,2,3\}$

2. 相应的拉格朗日基函数

   $$\begin{gathered} l_0(x)=\frac{(x-x_1)(x-x_2)(x-x_3)}{(x_0-x_1)(x_0-x_2)(x_0-x_3)}=\frac{(x-1)(x-2)(x-3)}{(0-1)(0-2)(0-3)} \\ {l}_1(x)=\frac{(x-x_0)(x-x_2)(x-x_3)}{(x_1-x_0)(x_1-x_2)(x_1-x_3)}=\frac{(x-0)(x-2)(x-3)}{(1-0)(1-2)(1-3)} \\ {l}_2(x)=\frac{(x-x_0)(x-x_1)(x-x_3)}{(x_2-x_0)(x_2-x_1)(x_2-x_3)}=\frac{(x-0)(x-1)(x-3)}{(2-0)(2-1)(2-3)} \\ {l}_3(x)=\frac{(x-x_0)(x-x_1)(x-x_2)}{(x_3-x_0)(x_3-x_1)(x_3-x_2)}=\frac{(x-0)(x-1)(x-2)}{(3-0)(3-1)(3-2)} \end{gathered}$$

3. 计算求积系数 $A_k={\int }_0^3{l}_k(x)dx$

4. 插值型求积公式 ${\int }_0^{3}f(x)dx=A_0\times f(0)+A_1\times f(1)+A_2\times f(2)+A_3\times f(3)$

求积公式的稳定性

若求积系数 $A_k>0,k=0,1,2,...$, 则称求积公式是稳定的

插值型求积公式的余项(截断误差)

$$\begin{array}{llc}R[f]& =& {\int }_a^{b}f(x)dx-{\int }_a^b{L}_n(x)dx\\ & & \\ & =& {\int }_a^{b}f(x)-{\sum }_{k=0}^n(l_k(x)\times y_k)dx\\ & & \\ & =& {\int }_a^b\frac{f^{(n+1)}(ϵ)}{(n+1)!}{\prod }_{i=0}^n(x-x_i)dx\\ & & \\ & =& {\int }_a^b\frac{f^{(n+1)}(ϵ)}{(n+1)!}{w}_{n+1}(x)dx\end{array}$$

Newton-Cotes(牛顿-柯斯特)公式

作为插值型求积公式中一类特殊且常用的形式, 额外限制了求积点的选择(等距节点), 即 $h=\frac{b-a}{n},x_k=a+k\times h$, 默认包含了两个端点
$$\begin{array}{llc}{\int }_a^{b}f(x)dx& =& {\sum }_{k=0}^n(f(x_k)\times A_k)\\ & & \\ & =& (b-a)\times {\sum }_{k=0}^n(f(x_k)\times C_k^{(n)})\end{array}$$
其中: $C_k^{(n)}$ 称为Cotes系数, 满足$C_k^{(n)}=\frac{1}{b-a}{A}_k=\frac{(-1{)}^{n-k}}{n\times k!\times (n-k)!}{\int }_0^n{\prod }_{i=0,i\ne k}^n(t-i)dt$

Cotes系数表

n\k	0	1	2	3
0	nan
1	1/2	1/2
2	1/6	4/6	1/6
3	1/8	3/8	3/8	1/8

Newton求积公式的代数精度

• 如果 $n$ 是偶数, 代数精度为 $n+1$
• 如果 $n$ 是奇数, 代数精度为 $n$

Newton求积公式的截断误差

$$\begin{array}{llcccc}n=1& 梯形公式& :& R[f]& =& -\frac{(b-a{)}^3}{12}{f}^{(2)}(ϵ)\\ & & & & & \\ n=2& 辛普森公式& :& R[f]& =& -\frac{(b-a{)}^5}{2880}{f}^{(4)}(ϵ)\end{array}$$

$n$ 阶Newton求积公式 $\Rightarrow$ $h(n)$ 次代数精度 $\Rightarrow$ $h(n)+1$ 阶导数 $\Rightarrow$ $(b-a{)}^{h(n)+2}$

例题

分别使用梯形公式和辛普森公式计算积分 ${\int }_1^2{e}^{\frac{1}{x}}dx$ 的近似值, 并估计截断误差

复化求积公式

使用区间越大, 根据插值公式的余项可以分析出需要更大的 $n$ 才能保持相应的精度. 一方面, 当 $n$ 越大时, $C_k^{(n)}$ 不方便计算; 另一方面, 当 $n>8$ 时, $A_k\ngtr 0$, 因此求积公式也是不稳定的

因此, 将区间划分为小区间, 在每个小区间上分别使用低阶的Newton插值公式

Gauss型求积公式

给定 $n+1$ 个求积点, 可以得到 $2n+1$ 次代数精度的求积公式, 不一定包含区间端点(大概率不包含)

一般的插值型求积公式: 任意求积点 $\Rightarrow$ Newton求积公式: 等距求积点 $\Rightarrow$ Gauss求积公式: 正交多项式的零点作为求积点

算法流程

1. 计算满足 $2n+1$ 次代数精度的求积公式 $\Rightarrow$ $n+1$ 个求积点
2. 选用或计算出正交多项式 $g_{n+1}(x)$
   • 如果是满足常用的正交多项式的使用条件, 则直接使用公式结论, 例如Legendre多项式和Chebyshev多项式
   • 如果不是常用的正交多项式, 则通过多项式正交化算法计算
3. 得到正交多项式的零点, 即高斯求积点, 满足 $g_{n+1}(x)=0\Rightarrow x_k=?,k=0,1,...,n$
4. 计算求积系数 $A_k={\int }_a^b[\rho (x)\times l_k(x)]dx$
5. 确定高斯求积公式 $G(x)={\sum }_{k=0}^n(A_k\times f(x_k))$

常用的Gauss型求积公式(一): Gauss-Legendre求积公式

Legendre多项式的使用条件:

• 积分区间 $[-1,1]$, 如果不满足需要进行换元
• 权函数$\rho (x)=1$

常用的Gauss型求积公式(二): Gauss-Chebyshev求积公式

常微分方程的数值方法

预测-校正系统

• 预测: 用显式法计算下一步或下n步的值,

• 校正: 将预测值代入到隐式法中进行求解, 修正预测值

Euler方法

显式Euler公式

向前差分公式 $y’(x_k) &\approx& \frac{y(x_{k+1})-y(x_{k})}{x_{k+1}-x_{k}} \$ 得
$$\begin{array}{lll}y(x_{k+1})& =& y(x_k)+\Delta x\times y^{\prime }(x_k)\\ & & \\ y_{k+1}& =& y_k+h\times y_k^{\prime }\end{array}$$

def euler(x0, y0, threshold, h, f):
    """
    显式Euler方法

    :param x0: x初值
    :param y0: y初值
    :param threshold: 上界,阈值
    :param h: 步长
    :param f: 导函数, 即y'
    :return: 包含迭代过程中出现的(x,y)坐标的一个字典
    """
    x = x0
    y = y0
    xList = [x]
    yList = [y]
    result = {'x': xList,
              'y': yList}
    while True:
        # 终止条件
        if x >= threshold:
            break
        # 迭代公式
        y = y + h * f(x, y)
        # 更新x, 推进迭代过程
        x = x + h
        # 保存数据
        result['x'].append(x)
        result['y'].append(y)
    return result

隐式Euler公式

由向后差分公式 $y^{\prime }(x_{k+1})\approx \frac{y(x_{k+1})-y(x_k)}{x_{k+1}-x_k}$ 得
$$y_{k+1}=y_k+h\times y_{k+1}^{\prime }$$
当 $y^{\prime }$ 是 $y$ 的线性函数, 即函数表达式的形式满足 $y^{\prime }=g(x)\times y+t(x)$ 时, 有
$$\begin{array}{llc}{y}_{k+1}& =& y_k+h\times y_{k+1}^{\prime }\\ & & \\ & =& y_k+h\times [g(x_{k+1})\times y_{k+1}+t(x_{k+1})]\\ & & \\ & =& \frac{y_k+h\times t(x_{k+1})}{1-h\times g(x_{k+1})}\end{array}$$

def implicitEuler(x0, y0, threshold, h, g, t):
    """
    隐式Euler方法

    :param x0: x初值
    :param y0: y初值
    :param threshold: 上界,阈值
    :param h: 步长
    :param g: y'=g*y+t
    :param t: y'=g*y+t
    :return: 包含迭代过程中出现的(x,y)坐标的一个字典
    """
    x = x0
    y = y0
    xList = [x]
    yList = [y]
    result = {'x': xList,
              'y': yList}
    while True:
        # 终止条件
        if x >= threshold:
            break
        # 迭代公式, 注意这里是 t(x+h)
        y = (y + h * t(x + h)) / (1 - h * g(x))
        # 更新x, 推进迭代过程
        x = x + h
        # 保存数据
        result['x'].append(x)
        result['y'].append(y)
    return result

梯形公式

加权平均 $\Rightarrow$ Runge-Kutta方法
$$\begin{array}{llc}{y}_{k+1}& =& y_k+h\times (\frac{1}{2}{y}_k^{\prime }+\frac{1}{2}{y}_{k+1}^{\prime })\end{array}$$
同样在满足 $y^{\prime }=g(x)\times y+t(x)$ 条件后, 有
$$\begin{array}{llc}{y}_{k+1}& =& y_k+h\times (\frac{1}{2}{y}_k^{\prime }+\frac{1}{2}{y}_{k+1}^{\prime })\\ & & \\ & =& y_k+h\times \frac{1}{2}(g(x_k)\times y(x_k)+t(x_k)+g(x_{k+1})\times y(x_{k+1})+t(x_{k+1}))\\ & & \\ & =& \frac{(1+\frac{1}{2}\times h\times g(x_k))\times y(x_k)+\frac{1}{2}\times h\times (t(x_k)+t(x_{k+1}))}{1-\frac{1}{2}\times h\times g(x_{k+1})}\\ & & \\ & =& \frac{(2+h\times g_k)\times y_k+h\times (t_k+t_{k+1})}{2-h\times g_{k+1}}\end{array}$$

def middleEuler(x0, y0, threshold, h, g, t):
    """
    梯形公式Euler方法

    :param x0: x初值
    :param y0: y初值
    :param threshold: 上界,阈值
    :param h: 步长
    :param g: y'=g*y+t
    :param t: y'=g*y+t
    :return: 包含迭代过程中出现的(x,y)坐标的一个字典
    """
    x = x0
    y = y0
    xList = [x]
    yList = [y]
    result = {'x': xList,
              'y': yList}
    while True:
        # 终止条件
        if x >= threshold:
            break
        # 迭代公式
        y = ((2 + h * g(x)) * y + h * (t(x) + t(x + h))) / (2 - h * g(x + h))
        # 更新x, 推进迭代过程
        x = x + h
        # 保存数据
        result['x'].append(x)
        result['y'].append(y)
    return result

改进Euler公式

不需要隐式法中额外的限制条件, 能够应用于更多的场合

1. 显式Euler公式预测
2. 梯形公式校正

$$\begin{array}{llc}{y}_{k+1}^{(1)}& =& y_k+h\times f(x_k,y_k)\\ & & \\ y_{k+1}& =& y_k+h\times \frac{f(x_k,y_k)+f(x_{k+1},y_{k+1}^{(1)})}{2}\end{array}$$

def optimizateEuler(x0, y0, threshod, h, f):
    x = x0
    y = y0
    xList = [x]
    yList = [y]
    result = {'x': xList,
              'y': yList}
    while True:
        if x >= threshod:
            break
        # euler公式预测
        y_tmp = y + h * f(x, y)
        # 改进euler公式校正
        y = y + h * (f(x, y) + f(x + h, y_tmp)) / 2
        x = x + h
        # 保存数据
        result['x'].append(x)
        result['y'].append(y)
    return result

局部截断误差

对于任意一个常微分方程问题, 假设能够解出其精确解 $y(x)$, 那么在同一基准线上, 仅仅比较下一次精确解的准确值和迭代公式的估计值的差即为局部截断误差.
$$\begin{array}{llcc}{T}_{n+1}& =& y(x_n+h)-{\hat{y}}_{n+1}(x_n,y_n)& \\ & & & \\ & =& y(x_n+h)-[y(x_n)+h\times y^{\prime }(x_n)]& \\ & & & \\ & =& y(x_n)+y^{\prime }(x_n)\times h+\frac{y^{\prime \prime }(x_n)}{2!}\times h^2+O(h^3)-[y(x_n)+h\times y^{\prime }(x_n)]& (泰勒展开)\\ & & & \\ & =& \frac{y^{\prime \prime }(x_n)}{2!}\times h^2+O(h^3)& \end{array}$$
之所以称之为局部截断误差, 是因为除了在初值条件的时候, 精确解和迭代公式都不在同一基准线上, 迭代公式每一步都会产生误差, 因此逐渐偏离基准线, 整体截断误差应该表示为 $y(x_n+h)-{\hat{y}}_{n+1}(x_n,{\hat{y}}_n)$

Runge-Kutta方法(略)

加权平均 $\Rightarrow$ Runge-Kutta方法
$$\begin{array}{llc}{y}_{k+1}& =& y_k+h\times ({\sum }_{i=0}^n({\lambda }_i\times k_i)\end{array}$$
其中: $k_i$ 满足一系列规则

收敛性与稳定性

单步法的收敛性

没懂

单步法的(绝对)稳定性

绝对稳定性用来对步长的选取进行限制, 不能任意选择

通过Taylor展开并局部线性化, 一般形式的一阶微分方程总可以化作如下的模型方程
$$\begin{array}{llc}{y}^{\prime }& =& \frac{\partial y^{\prime }(x,y)}{\partial y}\times y\\ & & \\ & =& \frac{\partial f(x,y)}{\partial y}\times y\\ & & \\ & =& \lambda \times y\end{array}$$
单步法经过整理后, 可以得到形式如下
$$\begin{array}{llcc}{y}_{n+1}& =& E(\lambda h)\times y_n& 其中E(\lambda h)由选择的方法决定\end{array}$$
误差传播公式同上
$$\begin{array}{llc}{e}_{n+1}& =& E(\lambda h)\times e_n\end{array}$$
为保证绝对稳定, 因此需要满足条件 $|E(\lambda h)|\le 1$

线性方程组的解法

非线性方程的解法

特征值和特征向量的计算

幂法与反幂法

• 幂法: 适用于计算矩阵的主特征值(模最大的特征值)和对应的特征向量
• 反幂法: 用于计算矩阵的模最小特征值及其特征向量, 还可以用来计算给定近似特征值的特征向量

幂法算法流程

1. 任取一个非零向量 $u_0=k_1{e}_1+k_2{e}_2+\cdots k_n{e}_n$

2. 迭代公式
   u k = A ⋅ u k − 1 = A k ⋅ u 0 = A k ⋅ ( k 1 e 1 + k 2 e 2 + ⋯ k n e n ) ≈ ( λ 1