【优化方法学习笔记】第二章：无约束优化

1. 点列的收敛速度

设序列$\left\{{\mathbf{x}}_k\right\}$收敛于${\mathbf{x}}^{\ast }$, 设$\gamma \ge 1$, $\beta >0$, 若极限$$\underset{k\to \infty }{\lim }\frac{\Vert {\mathbf{x}}_{k+1}-{\mathbf{x}}^{\ast }\Vert }{{\Vert {\mathbf{x}}_k-{\mathbf{x}}^{\ast }\Vert }^{\gamma }}=\beta$$则称序列$\left\{{\mathbf{x}}_k\right\}$是$\gamma$阶收敛的。
若$\gamma =1$, 则称序列$\left\{{\mathbf{x}}_k\right\}$是线性收敛的；
若$\gamma =2$, 则称序列$\left\{{\mathbf{x}}_k\right\}$是二阶收敛的；
若$1<\gamma <2$, 则称序列$\left\{{\mathbf{x}}_k\right\}$是超线性收敛的。

【例1】设$x_n={\left(\frac{1}{n}\right)}^n$, 判断点列$\left\{x_n\right\}$的收敛速度。
【解】点列$\left\{x_n\right\}$收敛于$$x^{\ast }=\underset{n\to \infty }{\lim }{\left(\frac{1}{n}\right)}^n=e^{-\underset{n\to \infty }{\lim }n\ln n}=0$$设$$\underset{n\to \infty }{\lim }\frac{x_{n+1}}{x_n^{\gamma }}=\underset{n\to \infty }{\lim }\frac{n^{\gamma n}}{(n+1{)}^{n+1}}=\underset{n\to \infty }{\lim }\frac{e^{\gamma n\ln n}}{e^{(n+1)\ln (n+1)}}=\beta \ne 0$$由洛必达法则得$$\beta =\underset{n\to \infty }{\lim }\frac{\gamma e^{\gamma n\ln n}}{e^{(n+1)\ln (n+1)}}\cdot \frac{1+\ln n}{1+\ln (n+1)}=\gamma \beta$$解得$$\gamma =1$$即$\left\{x_n\right\}$是线性收敛（$1$阶收敛）的。

2. 共轭方向

2.1 共轭与共轭方向组

设$\mathbf{A}$是$n$阶对称矩阵, 若$n$维列向量$\mathbf{p}$和$\mathbf{q}$满足${\mathbf{p}}^{\mathrm{T}}\mathbf{A}\mathbf{q}=0$, 则称$\mathbf{p}$和$\mathbf{q}$关于矩阵$\mathbf{A}$共轭。
若$n$维非零列向量组${\mathbf{p}}_1,{\mathbf{p}}_2,\cdots ,{\mathbf{p}}_m$满足：$\forall i\ne j$, ${\mathbf{p}}_i^{\mathrm{T}}\mathbf{A}{\mathbf{p}}_j=0$, 则称向量组${\mathbf{p}}_1,{\mathbf{p}}_2,\cdots ,{\mathbf{p}}_m$关于$\mathbf{A}$共轭, 也称向量组${\mathbf{p}}_1,{\mathbf{p}}_2,\cdots ,{\mathbf{p}}_m$为$\mathbf{A}$的共轭方向组。

2.2 共轭方向组的性质

若$\mathbf{A}$是正定矩阵, 则以下两个结论成立：

1. $\mathbf{A}$的共轭方向组线性无关；
2. 若向量组${\mathbf{p}}_1,{\mathbf{p}}_2,\cdots ,{\mathbf{p}}_m$为$\mathbf{A}$的共轭方向组, 向量$\mathbf{q}$满足：$\forall i\in \{1,2,\cdots ,m\}$, 都有${\mathbf{p}}_i^{\mathrm{T}}\mathbf{A}\mathbf{q}=0$, 则$\mathbf{q}=0$。

2.3 共轭方向组的求法

设$\mathbf{A}$是$n$阶正定矩阵, $n$元向量组${\mathbf{p}}_1,{\mathbf{p}}_2,\cdots ,{\mathbf{p}}_n$线性无关, 下面的方法可以生成关于$\mathbf{A}$的共轭方向组：$$\{\begin{array}{l}{\mathbf{q}}_1={\mathbf{p}}_1\\ {\mathbf{q}}_2={\mathbf{p}}_2-\frac{{\mathbf{p}}_2^{\mathrm{T}}\mathbf{A}{\mathbf{q}}_1}{{\mathbf{q}}_1^{\mathrm{T}}\mathbf{A}{\mathbf{q}}_1}{\mathbf{q}}_1\\ ⋮\\ {\mathbf{q}}_n={\mathbf{p}}_n-\frac{{\mathbf{p}}_n^{\mathrm{T}}\mathbf{A}{\mathbf{q}}_1}{{\mathbf{q}}_1^{\mathrm{T}}\mathbf{A}{\mathbf{q}}_1}{\mathbf{q}}_1-\frac{{\mathbf{p}}_n^{\mathrm{T}}\mathbf{A}{\mathbf{q}}_2}{{\mathbf{q}}_2^{\mathrm{T}}\mathbf{A}{\mathbf{q}}_2}{\mathbf{q}}_2-\cdots -\frac{{\mathbf{p}}_n^{\mathrm{T}}\mathbf{A}{\mathbf{q}}_{n-1}}{{\mathbf{q}}_{n-1}^{\mathrm{T}}\mathbf{A}{\mathbf{q}}_{n-1}}{\mathbf{q}}_{n-1}\end{array}$$通式可以写为$${\mathbf{q}}_i={\mathbf{p}}_i-\sum _{j=1}^{i-1}\frac{{\mathbf{p}}_i^{\mathrm{T}}\mathbf{A}{\mathbf{q}}_j}{{\mathbf{q}}_j^{\mathrm{T}}\mathbf{A}{\mathbf{q}}_j}{\mathbf{q}}_j$$
【例2】求矩阵 M = [ 1 1 1 1 2 0 1 0 3 ] \boldsymbol{M} = \begin{bmatrix}1 & 1 & 1 \\ 1 & 2 & 0 \\ 1 & 0 & 3\end{bmatrix} M= ​111​120​103​ ​的一个共轭方向组。
【解】矩阵$\mathbf{M}$是正定矩阵, 则$$\{\begin{array}{l}\mathbf{a}={\mathbf{e}}_1=(1,0,0{)}^{\mathrm{T}}\\ \mathbf{b}={\mathbf{e}}_2-\frac{{\mathbf{e}}_2^{\mathrm{T}}\mathbf{M}\mathbf{a}}{{\mathbf{a}}^{\mathrm{T}}\mathbf{M}\mathbf{a}}\mathbf{a}=(-1,1,0{)}^{\mathrm{T}}\\ \mathbf{c}={\mathbf{e}}_3-\frac{{\mathbf{e}}_3^{\mathrm{T}}\mathbf{M}\mathbf{a}}{{\mathbf{a}}^{\mathrm{T}}\mathbf{M}\mathbf{a}}\mathbf{a}-\frac{{\mathbf{e}}_3^{\mathrm{T}}\mathbf{M}\mathbf{b}}{{\mathbf{b}}^{\mathrm{T}}\mathbf{M}\mathbf{b}}\mathbf{b}=(-2,1,1{)}^{\mathrm{T}}\end{array}$$是$\mathbf{M}$的一个共轭方向组。

3. 一维搜索

3.1 进退算法

进退算法用于确定搜索的初始区间, 算法描述如下（使用C/C++语言描述）

typedef double var;
// 算法输入：目标函数f, 初始点x0, 初始步长step
// 算法输出：搜索区间[a, b]
void forwardBackward(var(*f)(var), var x0, var step, var *a, var *b)
{
	*b = x0 + step;
	if(f(b) > f(x0))
		step *= -1;
	while(1){
		*a = x0 + step;
		if(f(*a) > f(x0))
			break;
		*b = x0;
		x0 = *a;
		step *= 2;
	}
}

3.2 精确一维搜索

3.2.1 平分法

平分法的思想是：每次取两个端点和中点, 利用中点的导数信息判断下一次迭代区间。算法描述如下（使用C/C++语言描述）

typedef double var;
// 算法输入：目标函数的导函数df, 初始区间[a, b], 精度e
// 算法输出：极小值点x
var equalizationSplit(var(*df)(var), var a, var b, var e)
{
	var d, x;
	while(b - a > e){
		d = df(x=(a+b)/2);
		if(d > 0)
			b = x;
		else
			a = x;
	}
	return x;
}

【例3】用平分法求函数$f(x)=e^x-2x-1$的极小值点, 搜索区间为$[-1,1]$, 迭代$3$次即可。

【解】函数$f(x)$的导函数为$f^{\prime }(x)=e^x-2$

第$1$次迭代：$a=-1$, $b=1$, $\frac{a+b}{2}=0$, $f^{\prime }(0)=-1<0$, 更新$a=0$；

第$2$次迭代：$a=0$, $b=1$, $\frac{a+b}{2}=\frac{1}{2}$, $f^{\prime }(\frac{1}{2})=\sqrt{e}-2<0$, 更新$a=\frac{1}{2}$；

第$3$次迭代：$a=\frac{1}{2}$, $b=1$, $\frac{a+b}{2}=\frac{3}{4}$, $f^{\prime }(\frac{3}{4})=\sqrt[4]{e^3}-2>0$, 更新$b=\frac{3}{4}$。

所以极小值点大约是$\frac{a+b}{2}=0.625$。

3.2.2 黄金分割法（0.618法）

0.618法的思想是：每次通过比较两个点的大小把区间缩小$0.382$。算法描述如下（使用C/C++语言描述）

typedef double var;
// 算法输入：目标函数f, 初始区间[a, b], 精度e
// 算法输出：极小值点x
var goldenSection(var(*f)(var), var a, var b, var e)
{
	var len = b - a;
	const var r = 0.618;
	var left = b - r * len;
	var right = a + r * len;
	while((len > e){
		if(f(left) > f(right)){
			a = left;
			len = b - a;
			left = right;
			right = a + r * len;
		}else{
			b = right;
			len = b - a;
			right = left;
			left = b - r * len;
		}
	}
	return (a + b) / 2;
}

3.2.3 牛顿法

牛顿法的思想是：用函数$f(x)$在已知点处的二阶泰勒展开式来近似$f(x)$, 迭代公式为$$x_{i+1}=x_i-\frac{f^{\prime }(x_i)}{f^{\prime \prime }(x_i)}$$
【例4】用牛顿法求函数$f(x)=3x^4-16x^3+30x^2-24x+8$的极小值点, 取初始点$x_0=3$, 迭代$3$次即可。

【解】令$\phi (x)=\frac{f^{\prime }(x)}{f^{\prime \prime }(x)}=\frac{x^3-4x^2+5x-2}{3x^2-8x+5}$

第$1$次迭代：$x_1=x_0-\phi (x_0)=3-\phi (3)=\frac{5}{2}$；

第$2$次迭代：$x_2=x_1-\phi (x_1)=\frac{5}{2}-\phi (\frac{5}{2})=\frac{11}{5}$；

第$3$次迭代：$x_3=x_2-\phi (x_2)=\frac{11}{5}-\phi (\frac{11}{5})=\frac{41}{20}$。

所以极小值点大约是$2.05$。

3.2.4 抛物线法

抛物线的思想与牛顿法类似, 也是使用二次函数来拟合目标函数, 牛顿法是使用一个点的函数值与该点处的一阶导数和二阶导数构造二次函数, 而抛物线法则使用三个点的函数值构造二次函数。

3.3 非精确一维搜索

对于一维搜索问题$\underset{\alpha }{\min }f(\mathbf{x}+\alpha \mathbf{d})$, 非精确一维搜索只要求：

1. 下一次迭代点处的函数值比上一次小；
2. 下一次迭代点处的方向导数比上一次大。

4. 多元函数的下降算法

对于无约束多元函数优化问题$$\min f(\mathbf{x})$$下降算法的更新公式可以统一表示为$${\mathbf{x}}_{i+1}={\mathbf{x}}_i-{\alpha }_i{\mathbf{H}}_i\nabla f({\mathbf{x}}_i)$$下降方向为$${\mathbf{d}}_i=-{\mathbf{H}}_i\nabla f({\mathbf{x}}_i)$$结束条件为${\mathbf{d}}_i=0$。

4.1 最速下降法、牛顿法和阻尼牛顿法

最速下降法：${\mathbf{H}}_i\equiv \mathbf{E}$, ${\alpha }_i$由一维搜索确定；

牛顿法：${\mathbf{H}}_i={\left({\nabla }^{2}f({\mathbf{x}}_i)\right)}^{-1}$, ${\alpha }_i\equiv 1$；

阻尼牛顿法：${\mathbf{H}}_i={\left({\nabla }^{2}f({\mathbf{x}}_i)\right)}^{-1}$, ${\alpha }_i$由一维搜索确定。

【例5】用阻尼牛顿法求函数$f(x_1,x_2)=4x_1^2+x_2^2-8x_1-4x_2$的极小值, 初始点取原点。

【解】$\nabla f(x_1,x_2)=\left[\begin{array}{c}8x_1-8\\ 2x_2-4\end{array}\right]$, ${\nabla }^{2}f(x_1,x_2)=\left[\begin{array}{cc}8& 0\\ 0& 22\end{array}\right]$正定, 则$\mathbf{H}={\left[{\nabla }^{2}f(x_1,x_2)\right]}^{-1}\equiv \frac{1}{8}\left[\begin{array}{cc}1& 0\\ 0& 4\end{array}\right]$。

${\mathbf{x}}_0=[0,0{]}^{\mathrm{T}}$, $\mathbf{H}\nabla f({\mathbf{x}}_0)=[-1,-2{]}^{\mathrm{T}}$,

解一维搜索问题 $\min f({\mathbf{x}}_0-{\alpha }_0\mathbf{H}\nabla f({\mathbf{x}}_0))=8{\alpha }_0^2-16{\alpha }_0$, 得 ${\alpha }_0=1$,

更新 ${\mathbf{x}}_1={\mathbf{x}}_0-{\alpha }_0\mathbf{H}\nabla f({\mathbf{x}}_0)=[1,2{]}^{\mathrm{T}}$,

因为$\nabla f({\mathbf{x}}_1)=[0,0{]}^{\mathrm{T}}$, 所以$[1,2{]}^{\mathrm{T}}$是极小值点, 极小值为$f(1,2)=-8$。

4.2 拟牛顿法（变尺度法）

令$$\{\begin{array}{l}\Delta {\mathbf{x}}_i={\mathbf{x}}_{i+1}-{\mathbf{x}}_i\\ \Delta {\mathbf{y}}_i=\nabla f({\mathbf{x}}_{i+1})-\nabla f({\mathbf{x}}_i)\end{array}$$又令$${\mathbf{v}}_i=\frac{\Delta {\mathbf{x}}_i}{\Delta {\mathbf{x}}_i^{\mathrm{T}}\Delta {\mathbf{y}}_i}-\frac{{\mathbf{H}}_i\Delta {\mathbf{y}}_i}{\Delta {\mathbf{y}}_i^{\mathrm{T}}{\mathbf{H}}_i\Delta {\mathbf{y}}_i}$$拟牛顿法的${\mathbf{H}}_i$更新公式为$${\mathbf{H}}_{i+1}={\mathbf{H}}_i+\frac{\Delta {\mathbf{x}}_i\Delta {\mathbf{x}}_i^{\mathrm{T}}}{\Delta {\mathbf{x}}_i^{\mathrm{T}}\Delta {\mathbf{y}}_i}-\frac{{\mathbf{H}}_i\Delta {\mathbf{y}}_i\Delta {\mathbf{y}}_i^{\mathrm{T}}{\mathbf{H}}_i}{\Delta {\mathbf{y}}_i^{\mathrm{T}}{\mathbf{H}}_i\Delta {\mathbf{y}}_i}+\rho \Delta {\mathbf{y}}_i^{\mathrm{T}}{\mathbf{H}}_i\Delta {\mathbf{y}}_i{\mathbf{v}}_i{\mathbf{v}}_i^{\mathrm{T}}$$初始的${\mathbf{H}}_0=\mathbf{E}$, ${\alpha }_i$由一维搜索确定。
当$\rho =0$时, 称为DFP算法；
当$\rho =1$时, 称为BFGS算法。

【例6】用DFP算法求函数$f(x_1,x_2)=x_1^2+3x_2^2+2x_1{x}_2-x_1+x_2$的极小值, 初始点取原点。

【解】$\nabla f(x_1,x_2)=[2x_1+2x_2-1,2x_1+6x_2+1{]}^{\mathrm{T}}$

第$1$次迭代：

${\mathbf{H}}_0=\mathbf{E}$, $\nabla f({\mathbf{x}}_0)=[-1,1{]}^{\mathrm{T}}$, ${\mathbf{H}}_0\nabla f({\mathbf{x}}_0)=[-1,1{]}^{\mathrm{T}}$,

解一维搜索问题 $\min f({\mathbf{x}}_0-{\alpha }_0{\mathbf{H}}_0\nabla f({\mathbf{x}}_0))=2{\alpha }_0^2-2{\alpha }_0$, 得 ${\alpha }_0=\frac{1}{2}$,

更新${\mathbf{x}}_1={\left[\frac{1}{2},-\frac{1}{2}\right]}^{\mathrm{T}}$, $\nabla f({\mathbf{x}}_1)=[-1,-1{]}^{\mathrm{T}}\ne 0$；

第$2$次迭代：

$\Delta {\mathbf{x}}_0={\left[\frac{1}{2},-\frac{1}{2}\right]}^{\mathrm{T}}$, $\Delta {\mathbf{y}}_0=[-2,0{]}^{\mathrm{T}}$,

${\mathbf{H}}_1={\mathbf{H}}_0+\frac{\Delta {\mathbf{x}}_0\Delta {\mathbf{x}}_0^{\mathrm{T}}}{\Delta {\mathbf{x}}_0^{\mathrm{T}}\Delta {\mathbf{y}}_0}-\frac{{\mathbf{H}}_0\Delta {\mathbf{y}}_0\Delta {\mathbf{y}}_0^{\mathrm{T}}{\mathbf{H}}_0}{\Delta {\mathbf{y}}_0^{\mathrm{T}}{\mathbf{H}}_0\Delta {\mathbf{y}}_0}=\frac{1}{4}\left[\begin{array}{cc}5& -1\\ -1& 1\end{array}\right]$, ${\mathbf{H}}_1\nabla f({\mathbf{x}}_1)=[-1,0{]}^{\mathrm{T}}$,

解一维搜索问题 $\min f({\mathbf{x}}_1-{\alpha }_1{\mathbf{H}}_1\nabla f({\mathbf{x}}_1))={\alpha }_1^2-{\alpha }_1-\frac{1}{2}$, 得 ${\alpha }_1=\frac{1}{2}$,

更新${\mathbf{x}}_2={\left[1,-\frac{1}{2}\right]}^{\mathrm{T}}$, $\nabla f({\mathbf{x}}_2)=[0,0{]}^{\mathrm{T}}$, 结束。

所以极小值点为${\left[1,-\frac{1}{2}\right]}^{\mathrm{T}}$, 极小值为$f(1,-\frac{1}{2})=-\frac{3}{4}$。

4.3 共轭梯度法

共轭梯度法的更新公式仍为$${\mathbf{x}}_{i+1}={\mathbf{x}}_i-{\alpha }_i{\mathbf{H}}_i\nabla f({\mathbf{x}}_i)={\mathbf{x}}_i+{\alpha }_i{\mathbf{d}}_i$$${\alpha }_i$由一维搜索确定, 下降方向的更新公式为$${\mathbf{d}}_{i+1}=\frac{{\left[\nabla f({\mathbf{x}}_{i+1})\right]}^{\mathrm{T}}\nabla f({\mathbf{x}}_{i+1})}{{\left[\nabla f({\mathbf{x}}_i)\right]}^{\mathrm{T}}\nabla f({\mathbf{x}}_i)}{\mathbf{d}}_i-\nabla f({\mathbf{x}}_{i+1})$$初始下降方向取负梯度方向$${\mathbf{d}}_0=-\nabla f({\mathbf{x}}_0)$$

【例7】用共轭梯度法求函数$f(x_1,x_2)=x_1^2+x_2^2-x_1{x}_2-3x_1+3$ 的极小值, 初始点取原点。

【解】$\nabla f(x_1,x_2)=[2x_1-x_2-3,2x_2-x_1{]}^{\mathrm{T}}$

第$1$次迭代：

${\mathbf{d}}_0=-\nabla f(0,0)=[3,0{]}^{\mathrm{T}}$,

解一维搜索问题 $\min f({\mathbf{x}}_0+{\alpha }_0{\mathbf{d}}_0)=9{\alpha }_0^2-9{\alpha }_0+3$, 得${\alpha }_0=\frac{1}{2}$,

更新${\mathbf{x}}_1={\mathbf{x}}_0+{\alpha }_0{\mathbf{d}}_0={\left[\frac{3}{2},0\right]}^{\mathrm{T}}$, $\nabla f({\mathbf{x}}_1)={\left[0,-\frac{3}{2}\right]}^{\mathrm{T}}\ne 0$；

第$2$次迭代：

${\mathbf{d}}_1=\frac{{\left[\nabla f({\mathbf{x}}_1)\right]}^{\mathrm{T}}\nabla f({\mathbf{x}}_1)}{{\left[\nabla f({\mathbf{x}}_0)\right]}^{\mathrm{T}}\nabla f({\mathbf{x}}_0)}{\mathbf{d}}_0-\nabla f({\mathbf{x}}_1)={\left[\frac{3}{4},\frac{3}{2}\right]}^{\mathrm{T}}$,

解一维搜索问题 $\min f({\mathbf{x}}_1+{\alpha }_1{\mathbf{d}}_1)=\frac{27}{16}{\alpha }_1^2-\frac{9}{4}{\alpha }_1+\frac{3}{4}$, 得${\alpha }_1=\frac{2}{3}$,

更新${\mathbf{x}}_2={\mathbf{x}}_1+{\alpha }_1{\mathbf{d}}_1=[2,1{]}^{\mathrm{T}}$, $\nabla f({\mathbf{x}}_2)=[0,0{]}^{\mathrm{T}}$, 结束。

所以极小值点为$[2,1{]}^{\mathrm{T}}$, 极小值为$f(2,1)=0$。