非线性模型的最小二乘（LS）近似解

  现实世界中存在大量的非线性模型，并且我们常常需要对模型中的未知参数进行估计。当模型的非线性强度较弱、精度要求合适时，我们可将非线性模型线性化获取其近似解。本文讨论以最小二乘法估计线性化后的模型参数。

1 非线性误差方程

  非线性的观测方程可表示为
$$\underset{n,1}{L}=\underset{n,1}{f}(\underset{t,1}{X})+\underset{n,1}{\Delta }\text{\hspace{1em}(1)}$$
式中，$f(X)={\left(f_1(X)f_2(X)\cdots f_n(X)\right)}^T$是由n个X的非线性函数组成的$n\times 1$向量。
  当未知参数（X）、真误差（$\Delta$）分别用其估值$\hat{X}$、$V$代替时，则可得非线性误差方程
$$\underset{n,1}{V}=\underset{n,1}{f}(\hat{X})-\underset{n,1}{L}\text{\hspace{1em}(2)}$$
式中，$V$也称为残差向量。

2 非线性模型的LS解

  将非线性模型式$(2)$在$X^0$处泰勒展开并取至一次项，得
$$V=\frac{\partial f(\hat{X})}{\partial \hat{X}}{\mid }_{\hat{X}=X^0}\bullet \delta \hat{X}-(L-f(X^0))\text{\hspace{1em}(3)}$$
若令$l=L-f(X^0)$，则
$$V=B\bullet \delta \hat{X}-l\text{\hspace{1em}(4)}$$
式中，
$$B=\left(\begin{array}{cccc}\frac{\partial f_1(\hat{X})}{\partial \widehat{X_1}}{\mid }_{\hat{X}=X^0}& \frac{\partial f_1(\hat{X})}{\partial \widehat{X_2}}{\mid }_{\hat{X}=X^0}& \cdots & \frac{\partial f_1(\hat{X})}{\partial \widehat{X_t}}{\mid }_{\hat{X}=X^0}\\ \frac{\partial f_2(\hat{X})}{\partial \widehat{X_1}}{\mid }_{\hat{X}=X^0}& \frac{\partial f_2(\hat{X})}{\partial \widehat{X_2}}{\mid }_{\hat{X}=X^0}& \cdots & \frac{\partial f_2(\hat{X})}{\partial \widehat{X_t}}{\mid }_{\hat{X}=X^0}\\ ⋮& ⋮& ⋮& ⋮\\ \frac{\partial f_n(\hat{X})}{\partial \widehat{X_1}}{\mid }_{\hat{X}=X^0}& \frac{\partial f_n(\hat{X})}{\partial \widehat{X_2}}{\mid }_{\hat{X}=X^0}& \cdots & \frac{\partial f_n(\hat{X})}{\partial \widehat{X_t}}{\mid }_{\hat{X}=X^0}\end{array}\right)\text{\hspace{1em}(5)}$$
称为系数矩阵（设计矩阵）。
  根据最小二乘原理，
$$\delta \hat{X}=(B^{T}PB{)}^{-1}{B}^{T}Pl\text{\hspace{1em}(6)}$$
式中，$P$为权阵（衡量各个分量对总体的重要程度）且$P=Q^{-1}$。这样，待估参数$X$的最终估计结果为
$$\hat{X}=X^0+\delta \hat{X}\text{\hspace{1em}(7)}$$

3 实例分析

3.1 问题

  已知非线性模型$f(x)=a{e}^{bx}$（其中$a,b$为待估参数），通过观测我们获得了如下表所示的观测结果。现我们用LS估计未知参数$a,b$。

x	1	2	3	4	5
f(x)	4.20	3.25	2.52	1.95	1.51

3.2 解答

  （1）列立观测方程
  依题意可列如下观测方程（对应式$(1)$）
$$\{\begin{array}{l}{f}_1=a{e}^b+{\Delta }_1\\ f_2=a{e}^{2b}+{\Delta }_2\\ f_3=a{e}^{3b}+{\Delta }_3\\ f_4=a{e}^{4b}+{\Delta }_4\\ f_5=a{e}^{5b}+{\Delta }_5\end{array}\text{\hspace{1em}(8)}$$
此时，我们可随机取两组数据（因为未知参数仅有$a,b$）带入$f(x)=a{e}^{bx}$中解得$\left(\begin{array}{c}a\\ b\end{array}\right)$的初始值为$\left(\begin{array}{c}{a}^0\\ b^0\end{array}\right)=\left(\begin{array}{c}5.4\\ -0.3\end{array}\right)$。

  （2）估值代替得误差方程（对应式$(2)$）
$$\{\begin{array}{l}{v}_1=\hat{a}{e}^{\hat{b}}-f_1\\ v_2=\hat{a}{e}^{2\hat{b}}-f_2\\ v_3=\hat{a}{e}^{3\hat{b}}-f_3\\ v_4=\hat{a}{e}^{4\hat{b}}-f_4\\ v_5=\hat{a}{e}^{5\hat{b}}-f_5\end{array}\text{\hspace{1em}(9)}$$

  （3）将误差方程于$X^0$处泰勒展开（对应式$(4)$）
$$\{\begin{array}{l}{v}_1=e^{b^0}\cdot \delta a+a^0{e}^{b^0}\cdot \delta b-(f_1-a^0{e}^{b^0})\\ v_2=e^{2b^0}\cdot \delta a+2a^0{e}^{2b^0}\cdot \delta b-(f_2-a^0{e}^{2b^0})\\ v_3=e^{3b^0}\cdot \delta a+3a^0{e}^{3b^0}\cdot \delta b-(f_3-a^0{e}^{3b^0})\\ v_4=e^{4b^0}\cdot \delta a+4a^0{e}^{4b^0}\cdot \delta b-(f_4-a^0{e}^{4b^0})\\ v_5=e^{5b^0}\cdot \delta a+5a^0{e}^{5b^0}\cdot \delta b-(f_5-a^0{e}^{5b^0})\end{array}\text{\hspace{1em}(10)}$$
带入具体数据，则式$(10)$可化为
$$V=\left(\begin{array}{cc}0.7408& 4.0004\\ 0.5488& 5.9272\\ 0.4066& 6.5864\\ 0.3012& 6.5058\\ 0.2231& 6.0245\end{array}\right)\left(\begin{array}{c}\delta a\\ \delta b\end{array}\right)-\left(\begin{array}{c}0.1996\\ 0.2864\\ 0.3245\\ 0.3236\\ 0.3051\end{array}\right)$$
那么，依式$(6)$可解得
$$\left(\begin{array}{c}\delta a\\ \delta b\end{array}\right)=\left(\begin{array}{c}-0.005858021\\ 0.049953787\end{array}\right)$$
则未知参数最终估值为
$$\left(\begin{array}{c}\hat{a}\\ \hat{b}\end{array}\right)=\left(\begin{array}{c}{a}^0\\ b^0\end{array}\right)+\left(\begin{array}{c}\delta a\\ \delta b\end{array}\right)=\left(\begin{array}{c}5.394141979\\ -0.250246213\end{array}\right)$$


  因此，我们求得的非线性模型为$f(x)=5.394141979e^{-0.250246213x}$。