非线性最小二乘问题的求解方法（一）

本文仅仅根据《Methods For Non-Linear Least Squares Problems》文章做了整理，主要讨论求解函数极小值的各种方法，文章中多次引用了Frandsen于2004出版的书籍，有兴趣的读者可以查阅。本文借鉴了知乎文章https://zhuanlan.zhihu.com/p/93344177，并根据自己的理解做了部分补充和摘要，以备需要时查阅笔记，也欢迎网友们批评指正。

1.非线性最小二乘问题

最小二乘问题（Non-linear least squares problems）可以归结为以下的数学形式：

1.1 最小二乘问题
求解使得F(x)取得极小值的x
F(x)=$\frac{1}{2}{\sum }_{i=1}^m{f}_i(x{)}^2$
其中：$f_i$:$R^n$$\to$R, i=1,2,⋯,m是给定的函数，并且m>=n

例1.1 最小二乘问题的典型来源之一就是数据拟合。如下图所示，考虑用曲线对图中的点进行拟合：

假设对点($t_i$,$y_i$)进行拟合的曲线M的形式为:
$M(x,t)=x_3{e}^{x_{1}t}+x_4{e}^{x_{2}t}$
这个拟合模型的依赖参数为x=$[x_1,x_2,x_3,x_4{]}^T$。我们假设存在$x^{\ast }$使得下式成立：
$y_i=M(x^{\ast },t_i)+{ϵ}_i$
其中${ϵ}_i$为数据源的（测量）误差，类似于白噪音。对于任意的x，存在残差：
$f_i(x)=y_i-M(x,t_i)=y_i-x_3{e}^{x_1{t}_i}-x_4{e}^{x_2{t}_i},i=1,2,\cdots ,m$
最小二乘拟合方法需要求解使得残差的平方和最小的参数x取值。

最小二乘问题可以认为是求解这个问题的变体：存在函数F:$R^n$$\to$R,求解使得该函数取得最小值（通常是目标函数（object function)或代价函数(cost function)）的参数。

1.2 全局最小值
给定F(x):$R^n$$\to$R,求解$x^{\ast }=argmi{n}_x${F(x)}

事实上这个问题的求解非常困难，这里只讨论简化后的问题，求解F的局部最小值，这里定义列向量x和无穷小量$\delta$，求解局部最小值的问题定义如下：

1.3 局部最小值
给定F(x):$R^n$$\to$R,求解$x^{\ast }$使得
$F(x^{\ast })<=F(x),其中||x-x^{\ast }||<\delta$

我们假设函数F是连续可微函数，那么根据泰勒展开式有：
$F(x+h)=F(x)+h^{T}g+\frac{1}{2}{h}^{T}Hh+O(||h|{|}^3)$
其中：$g\equiv F^{\prime }(x)=[\frac{\partial F(x)}{\partial x_1},\frac{\partial F(x)}{\partial x_2},\cdots ,\frac{\partial F(x)}{\partial x_n}{]}^T$
$H\equiv F^{\prime \prime }(x)=[\frac{{\partial }^{2}F(x)}{\partial x_i\partial x_j}]$
如无特殊说明，||h||为二范数，$||h||=\sqrt{h_1^2+h_2^2+\cdots +h_n}$
如果$x^{\ast }$是局部极小点，那么对于任意列向量h均无法使得$F(x^{\ast }+h)$取得更小值（相较于$F(x)$)，综合连续可微的条件，可得$x^{\ast }$为函数的局部极小点的必要条件：$g^{\ast }\equiv F^{\prime }(x)=0$.满足该条件的$x^{\ast }$称为驻点。
函数的驻点并不一定是函数的局部极小点或局部最大点，不满足局部最大点或局部最小点的驻点称为鞍点，对于驻点$x_s$，有：
$F(x_s+h)=F(x_s)+\frac{1}{2}{h}^T{H}_{s}h+O(||h|{|}^3)$, $H=F^{\prime \prime }(x)$
如果$H_s$为正定矩阵，则$x_s$为局部最小值；如果$H_s$为负定矩阵，则$x_s$为局部最大值；否则，$x_s$为鞍点。

2.下降方法

非线性优化问题的求解思路大多相似：从初始点$x_0$经过一系列的迭代：$x_1,x_2,\cdots$最终（可能）收敛于$x^{\ast }$，即函数的极小点。需要注意的是，函数可能有很多局部极小点，迭代最终得到的局部极小点与选取的初始点具有密切联系。在迭代初始阶段，我们并不能知道最终的迭代结果，因为局部极小值并不一定接近初始值。迭代的过程明显分为两个阶段：当初始值离局部极小点较远时，除了最初的几步迭代，我们期待迭代过程中误差逐渐减小（原文中这里是不增大）：$||e_{k+1}<e_k||,k>K.$其中$e_k=x_k-x^{\ast }$；当迭代值$x_k$距离$x^{\ast }$较近时，即最后阶段，我们需要较快的收敛速度，如：
线性收敛，$||e_{k+1}||<a||e_k||,其中||e_k||为较小值且0<a<1$；
平方收敛，$||e_{k+1}||=O(||e_k|{|}^2),其中||e_k||为较小值$；
超线性收敛，$||e_{k+1}||/||e_k||\to 0,$当$k\to \infty$。
本文讨论的迭代过程需满足以下条件：$F(x_{k+1})<F(x_k)$，迭代中的两个关键因素为下降方向和步长。过程如下：

$begin$
$k:=0;x:=x_0;found:=false$ $(STARTINGPOINT)$
$while(notfound)and(k<k_{m}ax)$
{
$h_d:=searchdirection(x)$$(FROMxANDDOWNHILL)$
$if$(no such h exists)
{
\quad $found:=true$$(xISSTATIONARY)$
}
else
\quad {
\quad $\alpha :=steplength(x,h_d)$ $(FROMxINDIRECTION{h}_d)$
\quad $x:=x+\alpha h_d;k:=k+1$$(NEXTITERATE)$
\quad }
}
$end$

考虑$F$的值在$x$处沿着$h$方向变化，当$\alpha$足够小时，根据泰勒展开式，有：

$F(x+\alpha h)=F(x)+\alpha h^T{F}^{\prime }(x)+O(||h|{|}^2)$$\approx$$F(x)+\alpha h^T{F}^{\prime }(x)$

如果$F(x+\alpha h)$是$\alpha$在$\alpha =0$处的减函数，$h$即为下降方向，因此，有如下定义：

当$h$为函数$F$在$x$处的下降方向时，有$\alpha h^T{F}^{\prime }(x)<0$

如果这样的下降方向$h$不存在时，那么$F^{\prime }(x)=0$，表明此时$x$为驻点。否则，我们需要在给定下降方向$h_d$的条件下求解$\alpha$和，从而使得目标函数下降。其中的一种近似求解方法是求解${\alpha }_e$=$argmi{n}_{\alpha >0}${F(x+$\alpha$h)}，这种方法叫线性搜索。这里将先介绍求解下降方向的两种方法——梯度法和牛顿法。

2.1 梯度法

梯度法即使得$F(x)$沿着（局部）下降最快的方法下降，配合线性搜索方法，往往在迭代计算的初期能够有相当好的效果，但是在迭代的后期往往接近线性收敛并且十分缓慢，而且还可能取不到全局最小值。梯度法的介绍如下：
如果我们选择步长$\alpha$$h$，当$\alpha >0$时，函数相对变化满足：

$li{m}_{a->0}$ $\frac{F(x)-F(x+\alpha h)}{\alpha ||h||}$=-$\frac{1}{||h||}{h}^T{F}^{\prime }(x)=-||F^{\prime }(x)||cos\theta$

其中$\theta$是向量$h$和$F^{\prime }(x)$之间的夹角，这表明当$\theta =\pi$时，如果我们选择下降最快的方向，即梯度$h_{sd}=-F^{\prime }(x)$时，可以使得F(x)的减小量取得最大值。

2.2 牛顿法

根据之前所提到的，当$F^{\prime }(x^{\ast })=0$时，$x^{\ast }$为函数$F(x)$的驻点。对于非线性系统，根据泰勒公式，有：

$F^{\prime }(x+\alpha h)=F^{\prime }(x)+\alpha h^T{F}^{\prime \prime }(x)+O(||h|{|}^2)$$\approx$$F^{\prime }(x)+F^{\prime \prime }(x)h$

牛顿法在迭代的最终阶段表现较好，即$x$接近$x^{\ast }$时，接近平方收敛。牛顿法求解$h$的方法为求解方程

$H{h}_n=-F^{\prime }(x)$ ，其中$H=F^{\prime \prime }(x)$

并且计算下一步迭代：$x:=x+h_n$
如果$H$是正定矩阵，那么该矩阵为非奇异矩阵，并且对于任意非零向量$u$，满足$u^{T}Hu>0$，因此有：$0<h_n^{T}H{h}_n=-h_n^T{F}^{\prime }(x)$，这表明$h_n$为下降方向。
当$F^{\prime \prime }(x)$为正定矩阵时，牛顿迭代法可以保证$F^{\prime }(x)$收敛到局部极小值，因此这里定义混合算法如下：

if($F^{\prime \prime }(x)$为正定矩阵）
{
$h:=h_n$
}
else
{
$h:=h_{s}d$
}
$x:=x+\alpha h$

以上介绍了求解下降方向$h$的两种方法，这两种方法需要配合线性搜索法求解$\alpha$，从而实现求解函数的局部极小值。判断矩阵是否正定的方法可以用$Cholesk{y}^{\prime }smethod$(见附录）。在2.4节中将会给出同时计算下降方法和步长的方法。这种混合方法可能效率很高，但是却往往较少使用，因为它们需要计算$F^{\prime \prime }(x)$，这对于有些复杂应用问题可能无法实现，替代方法为柯西-牛顿法，这种方法基于一系列逐渐接近$H^{\ast }=F^{\prime \prime }(x)$的矩阵，在后续章节中将进行介绍。

2.3 线性搜索

对于给定的$x$和某下降方法$h$，下一步迭代过程中$x$将会沿着方向$h$变化，为了确定迭代步长（即$x$移动的距离），我们观察函数值$F(x)$在$x$处沿着方向$h$时的变化：

$\varphi (\alpha )=F(x+\alpha h)$，其中$x$和$h$为给定值，并且$\alpha >0$

对于不同$\alpha$，可能有以下三种情况：

$1^o$ $\alpha$过小，导致 $\varphi (\alpha )$的变化特别小，此时$\alpha$应当增大
$2^o$ $\alpha$过大，导致 $\varphi (\alpha )>\varphi (0)$，此时$\alpha$应当减小从而使得满足迭代过程中$F(x)$的下降要求
$3^o$ $\alpha$接近$\varphi (\alpha )$的局部极小值(或者局部最小值，如果局部极小值不止一个），此时接受$\alpha$

精确的线性搜索需要经过一系列迭代${\alpha }_1$,${\alpha }_2$,⋯最终找到真正的局部最小点${\alpha }_e$，并且迭代算法在${\alpha }_s$满足$|{\varphi }^{\prime }({\alpha }_s)|<=\tau |{\varphi }^{\prime }(0)|$时停止迭代，其中$\tau$为较小的正数。在迭代过程中，我们可以通过以下方法近似求解$\varphi (\alpha )$的变化值：

$\varphi ({\alpha }_k)=F(x+{\alpha }_{k}h)$，其中${\varphi }^{\prime }({\alpha }_k)=h^T{F}^{\prime }(x+{\alpha }_{k}h)$

但是精确的线性搜索可能耗费较多计算时间，特别是当$x$距离$x^{\ast }$较远时，下降方向$h$可能距离方向$x^{\ast }-x$较远，精确的求解$\varphi$的最小值其实并无必要。这就是软线性搜索方法(sofe line search)产生的背景，只要$\alpha$不落在上述 $1^o$和$2^o$范围内，我们就接受$\alpha$的值。我们定义稍微严格的下降条件：

$\varphi ({\alpha }_s)<=\varphi (0)+{\gamma }_1{\varphi }^{\prime }(0)\alpha$，其中$0<{\gamma }_1<1$

这就保证我们不会落在$2^o$范围内，$1^o$是因为$\alpha$过于靠近初值，补充以下条件：

$\varphi ({\alpha }_s)>={\gamma }_2{\varphi }^{\prime }(0)$，其中${\gamma }_1<{\gamma }_2<1$

如果$\alpha$的初始估值满足这些条件，我们就接受它作为下一步迭代步长${\alpha }_s$，否则我们需要按照上文所述进行准确的线性搜索。

2.4 信赖域和阻尼算法

假设在当前迭代值$x$的领域附近，存在一个模型$L$可以描述函数$F$的变化（也可以是其他形式的表达式）:

$F(x+h)\approx L(h)\equiv F(x)+h^{T}c+\frac{1}{2}{h}^{T}Bh$，其中$c\in R^n$，并且$B\in R^{n\times n}$为对称矩阵

$L(h)$是函数$F(x+h)$的泰勒展开式或近似形式，仅当$h$足够小时，该模型的优良性才能得到保证。在这里，将会介绍确定迭代量$h$的两种方法，一种是作为下降方向，一种可以在$\alpha =1$时使用（这里翻译不太地道，但不影响理解）。
信赖域方法中，假设模型在$x$的半径为$\Delta$的领域（即以$x$为球心，$\Delta$为半径的球）内足够精确，并且定义迭代量为：

$h=h_{tr}\equiv argmi{n}_{||h||<\Delta }${$L(h)$}

在阻尼算法中，迭代量的定义为：

$h=h_{dm}\equiv argmi{n}_h${$L(h)+\frac{1}{2}\mu h^{T}h$}，其中阻尼系数$\mu >=0$，其中$\frac{1}{2}\mu h^{T}h$是为了惩罚较大的迭代步长。

因此信赖域或阻尼算法的步骤为：当满足h为迭代量时，迭代计算$h_{tr}$或$h_{dm}$，否则更新$\Delta$或$\mu$。
这可以理解为当$h$为下降方向时，使得$\alpha =1$；否则让$\alpha =0$（此时不调整$x$），但是并不是结束迭代（除非$x=x^{\ast }$），而是通过适当调整$\Delta$或$\mu$，从而使得下次迭代过程中更有可能使得$F(x)$下降。因为仅有$h$足够小时，$L(h)$才被假定为接近$F(x+h)$的近似值，因此导致某步迭代失败的原因就是$h$过大，因此需要减小$h$。进一步的，如果当前迭代量$h$被接受，这表明或许在新的迭代值$x$附近以更大的迭代量$h$，从而可减少我们求解$x^{\ast }$的迭代步数。定义模型的优劣可采用以下收益比：
$\rho =\frac{F(x)-F(x+h)}{L(0)-L(h)}$
当迭代量$h$不是函数下降方向时，上述表达式的分子小于0，而分母大于0，此时表明$h$过大而应当减小。
在信赖域方法中，通过调整半径$\Delta$的大小来实现监控迭代步长，以下方法被广泛使用：

if($\rho <0.25$)
$\Delta :=\Delta /2$
else
$\Delta :$=max{$\Delta ,3\ast ||h||$}

因此，如果$\rho <0.25$，需要采用更小的步长；如果$\rho >0.25$，需要采用更大的步长。信赖域算法对于$\rho$处于0.25到0.75之间、除数$p_1=2$或者因子$p_2=3$时微小变化并不敏感，但是这两个数的选取是较为重要的，从而干扰可以避免迭代过程中$\Delta$的值发生振荡。
在阻尼算法中，较小的$\rho$值表明需要增大阻尼项，从而增加对较大迭代步长的惩罚，较大的$\rho$值表明模型$L(h)$是函数$F(x+h)$的较好近似，因此阻尼项需要减小。在阻尼算法中以下方法被广泛使用：

if($\rho <0.25$)
$\mu :=\mu \ast 2$
else
$\mu :=\mu /3$

同样地，阻尼算法对于$\rho$处于0.25到0.75之间、因子$p_1=2$或者除数$p_2=3$时微小变化也不敏感，但是为了避免$\mu$的值发生振，这两个数的选取也较为重要。经验表明，在阈值0.25和0.75之间的非连续变化可能产生抖动 ，将会减慢迭代收敛的过程，以下方法在整体上具有更好的表现

if($\rho <0.25$)
$\mu :=\mu$ *max{$\frac{1}{3},1-(2\rho -1{)}^3$}; $\nu :=2$
else
$\mu :=\mu \ast \nu$; $\nu :=2\ast \nu$

其中因子$\nu$的初始值为2。可以看到，如果连续的迭代失败（指下降方向错误），将会导致$\mu$的迅速增大。

在阻尼算法中，步长的计算过程即求解该函数的驻点：

${\varphi }_{\mu }(h)=L(h)+\frac{1}{2}\mu h^{T}h=F(x)+h^{T}c+\frac{1}{2}{h}^{T}Bh+\frac{1}{2}\mu h^{T}h=F(x)+h^{T}c+\frac{1}{2}{h}^T(B+\mu I)h$

这表明$h=h_{dm}$是下列方程的解：

${\varphi }_{\mu }^{\prime }(h)=L^{\prime }(h)+\frac{1}{2}\mu h=c+(B+\mu I)h=0$

因此，$(B+\mu I)h_{dm}=-c$，其中$I$为单位矩阵，当$\mu$相当大时，对阵矩阵$B+\mu I$是正定矩阵，此时$h_{dm}$是$L$的局部极小点。在阻尼牛顿法中，令$c=F^{\prime }(x)$并且$B=F^{\prime \prime }(x)$，此时可通过求解：

$(F^{\prime \prime }(x)+\mu I)h_{dn}=-F^{\prime }(x)$

其中$h_{dn}$为阻尼牛顿法的迭代步长，当$\mu$非常大时， $h_{dn}\approx -\frac{1}{\mu }{F}^{\prime }(x)$，即沿着负梯度方向迭代较小的步长;当$\mu$非常小时，$h_{dn}$近似等于牛顿法的迭代步长$h_n$。因此阻尼牛顿法可以认为是梯度法和牛顿法的一种混合方法。
在信赖域算法中，迭代量$h_{tr}$可以视为是以下约束优化问题的解：

求解$agrmi{n}_{h}L(h)$，约束条件为$h^{T}h<={\Delta }^2$

如果矩阵$B$为正定矩阵，则$L(h)$的无约束最小点即为$Bh=-c$的解，并且如果$h$足够小（满足$h^{T}h<={\Delta }^2$），那么此时$h_{tr}$即为所求解；否则问题需要考虑约束条件而变得较为复杂。事实上和前文提到的类似，并不需要精确求解上述约束优化问题，在下文的3.3和3.4部分将会提供两种$h_{tr}$的近似求解方法。
最后说一下当矩阵$B$为正定矩阵时阻尼算法和信赖域算法的相似之处：当无约束最小点落在信赖域的外部时，存在$\lambda >0$使得$B{h}_{tr}+c=-\lambda h_{tr}$（这部分内容未给出证明，可自行查阅Madsen的著作），当$\lambda$与阻尼参数$\mu$相等时，信赖域算法与阻尼法的计算过程类似。另一方面，对于给定的阻尼参数$\mu >=0$，阻尼法的求解过程为$h_{dm}=argmi{n}_{||h||<=||h_{dm}||}${$L(x)$}，当$||h_{dm}||$与信赖域半径$\Delta$相等时，$h_{dm}$与$h_{tr}$相等。因此，这两类方法是紧密相联的，但是当两种方法计算迭代步长相等时，并不存在一个简单的公式可以描述$\Delta$值和$\mu$值的关系。

附录

Cholesky’s method

这里介绍的Cholesky’s method主要用于判断矩阵是否为正定矩阵及方程求解。首先需要先了解对称矩阵（即对于矩阵$A\in R^{n\times n}$，满足$A=A^T$，亦即$a_{ij}=a_{ji}$）与正定矩阵的关系：

如果对于任意非零向量$x\in R^n$，存在$x^{T}Ax>0$，则对称矩阵A为正定矩阵
如果对于任意非零向量$x\in R^n$，存在$x^{T}Ax<0$，则对称矩阵A为负定矩阵

如果将对称矩阵$A\in R^{n\times n}$分解为两个三角矩阵的乘积，即$A=LU$，其中$L$为单位下三角矩阵，$U$为上三角矩阵，并且用{$({\lambda }_j,v_j)$表示矩阵$A$的特征解，即$A{v}_j={\lambda }_j{v}_j$，$j=1,2,\cdots ,n$那么有：
$1^o$ 特征解为实数，${\lambda }_j\in R$并且特征向量{$v_j$}组成空间$R^n$的一组标准正交基
$2^o$以下描述等价：
i) A为正定矩阵(或半正定矩阵）；
ii) 所有的${\lambda }_j>0$(或${\lambda }_j>=0$)
iii) 所有的$u_{i}i>0$(或$u_{i}i>=0$)
如果矩阵$A$是正定矩阵，那么有：
$3^o$ $LU$分解是数值稳定的
$4^o$ $U=D{L}^T$，其中$D=diag(u_{ii})$
$5^o$ $A=C^{T}C$，即Cholesky分解，其中$C\in R^{n\times n}$为上三角型矩阵

对于给定矩阵$J\in R^{m\times n}$，令$A=J^{T}J$，显然矩阵$A$为对称矩阵。进一步地，对于任意非零向量$x\in R^n$，令$y=Jx$，那么有

$x^{T}Ax=x^T{J}^{T}Jx=y^{T}y>=0$

表明矩阵$A$为半正定矩阵，如果$m>=n$并且$J$的列向量线性无关，则A为正定矩阵。根据以下方程：

$(A+\mu I)v_j=({\lambda }_j+\mu )v_j$

可知如果矩阵$A$为对称矩阵和正定矩阵并且$\mu >0$，显然矩阵$A+\mu I$为对称矩阵且必为正定矩阵。
对称矩阵$A$的条件数为

${\kappa }_2(A)=$max{$|{\lambda }_j|$}/min{$|{\lambda }_j|$}

如果A为正定矩阵（或半正定）且$\mu >0$，那么有

${\kappa }_2(A+\mu I)=($max{$|{\lambda }_j|$}+$\mu$)/(min{$|{\lambda }_j|$}+$\mu$)<=(max{$|{\lambda }_j|$}+$\mu$)/$\mu$

该函数为$\mu$的递减函数。注意到单位下三角矩阵主要由$l_{ii}=1$和$l_{ij}=0$组成（其中$j>i$），并且矩阵$A$的LU分解未经过旋转，以及LU分解和Cholesky分解之间的联系，有

$A=LU=LD{L}^T=C^{T}C$

表明

$C=D^{1/2}{L}^T$，其中$D^{1/2}=diag(\sqrt{u_{ii}})$

Cholesky分解可以按照下述方法直接计算(中间无需进行LU分解），其中包括对矩阵正定性的判断：

$begin$
$k:=0;posdef:=true$
$while(posdef)and(k<n)$
{
$k:=k+1;d:=a_{kk}-{\sum }_{i=1}^{k-1}{c}_{ik}^2$
$if$(d>0)
{
\quad $c_{kk}:=\sqrt{d}$
\quad $for(j:k+1,\cdots ,n)$
\quad {
\quad \quad $c_{kj}:=(a_{kj}-{\sum }_{i=1}^{k-1}{c}_{ij}{c}_{ik}$)/$c_{kk}$
\quad }
}
else
{
\quad posdef:=false
}
}
$end$

以上的算法需要耗费约$\frac{1}{3}{n}^3$次浮点运算，当矩阵$C$确定后，系统$Ax=b$可以通过换元求解，每次迭代大约需要$n^2$次浮点运算：

$C^{T}z=b$，其中$Cx=z$