《数学建模算法与应用》——学习笔记chapter3. 非线性规划

1. 非线性规划

1.1 非线性规划的定义

目标函数或约束条件中只要包含非线性函数，就称这种规划问题为非线性规划问题(Nonlinear Program, NLP)。
注：自然语言处理(Nature Language Process)也叫NLP。

1.2 LP与NLP区别

如果线性规划的最优解存在，其最优解只能在其可行域的边界上达到（特别是可行域的顶点上达到；而非线性规划的最优解（如果最优解存在）则可能在其可行域的任意一点达到。

1.3 NLP的matlab解法

NLP的一般形式：
$\min f(x)$
$\{\begin{array}{l}Ax\le B\\ Aeq\cdot x\le Beq\\ C(x)\le 0\\ Ceq(x)=0\end{array}$
其中$f(x)$是标量函数，$A,B,Aeq,Beq$是相应维数的矩阵和向量，$C(x),Ceq(x)$是非线性向量函数。
Matlab 中的命令是:

X=FMINCON(FUN,X0,A,B,Aeq,Beq,LB,UB,NONLCON,OPTIONS) 

它的返回值是向量$x$，其中$FUN$是用$M$文件定义的函数$f(x)$；$X0$ 是$x$的初始值；$A,B,Aeq,Beq$定义了线性约束$A\ast X\le B,Aeq\ast X=Beq$；LB 和 UB 是变量 x 的下界和上界，如果x无下界，则LB的各分量都为-inf，如果 x 无上界，则 UB的各分量都为 inf；NONLCON 是用 M 文件定义的非线性向量函数C(x),Ceq(x) ；OPTIONS定义了优化参数，可以使用Matlab缺省的参数设置。

1.4 求解非线性规划的基本迭代格式

即NLP的可行域为$K$：

• 若$x^{\ast }\in K$，并且$f(x^{\ast })\le f(x),\forall x\in K$，则称$x^{\ast }$是（NLP）的整体最优解，$f(x^{\ast })$是(NP)的整体最优值。
• 若$f(x^{\ast })<f(x),\forall x\in K,x\ne x^{\ast }$，则称$x^{\ast }$是（NLP）的严格整体最优解，$f(x^{\ast })$是(NLP)的严格整体最优值。
• 若存在$x^{\ast }$的邻域$N_{\delta }(x^{\ast })$，使$f(x^{\ast })\le f(x),\forall x\in N_{\delta }(x^{\ast })\cap K$，则称$x^{\ast }$是（NLP）的局部最优解，$f(x^{\ast })$是(NLP)的局部最优值。
• 若$f(x^{\ast })<f(x),\forall x\in N_{\delta }(x^{\ast })\cap K$，则称$x^{\ast }$是（NLP）的严格局部最优解，$f(x^{\ast })$是(NLP)的严格局部最优值。

与LP不同，NLP的解未必是全局最优(Global optima)，一般采用迭代方法求它的最优解：从一个选定的初始点$x_0\in R^n$出发，按照某一特定的迭代规则产生一个点列，并且其极限点是(NLP)的最优解。
$x^{k+1}=x^k+t_k{p}^k$
其中$|p^k|=1$，为一方向向量，表示从$x_k\to x^{k+1}$的方向（即搜索方向），$t_k\in R^1$表示$x_k\to x^{k+1}$迭代的步幅。这就是求解非线性规划模型(NLP)的基本迭代格式，其应用的关键在于，如何构造每一轮的搜索方向和确定适当的步长。

下降方向： 设$\bar{x}\in R^n,P\ne 0,\exists \delta >0,使f(\bar{x}+tp)<\bar{x},\forall t\in (0,\delta )$，则称$P$为$f$在$\bar{x}$处的下降方向。
可行方向： 设$\bar{x}\in R^n,P\ne 0,\exists t>0,使\bar{x}+tp\in K$，则称向量$p$是点$x$处关于$K$的可行方向。

一个向量$p$，若既是函数$f$在点$x$处的下降方向，又是该点关于区域$K$的可行方向，称之为函数$f$在点$x$处关于$K$的可行下降方向。

使用基本迭代格式求解NLP问题的一般步骤如下：

1. 选取初始点$x_0$，令$k:=0$。
2. 构造搜索方向，依照一定规划，构造$f$在点$x^k$处关于$K$的可行下降方向作为搜索方向$p^k$。
3. 寻求搜索步长。以$x^k$为起点沿搜索方向$p^k$寻求适当的步长$t^k$，使目标函数值有某种意义的下降。
4. 求出下一个迭代点。按迭代格式求$x^{k+1}=x^k+t_k{p}^k$。 若$x^{k+1}$已满足某种终止条件，停止迭代。
5. 以$x^{k+1}$代替$x^k$，回到2步。

1.5 凸函数、凸规划

函数$f$的定于域是凸集且$\forall \alpha \in (0,1)$以及任意两点$x^{(1)},x^{(2)}$，有$f(\alpha x^{(1)}+(1-\alpha x^{(2)})\le \alpha x^{(1)}+(1-\alpha x^{(2)}$，则称$f$为凸函数。若$\forall \alpha \in (0,1)$以及任意两点$x^{(1)}\ne x^{(2)}$，有$f(\alpha x^{(1)}+(1-\alpha x^{(2)})<\alpha x^{(1)}+(1-\alpha x^{(2)}$，则称$f$为严格凸函数。

对于一个规划问题，如果其目标函数与约束函数均为凸函数，则该问题称为一个凸规划问题(Convex optimization program)，凸规划的可行域为凸集，其局部最优解即为全局最优解，而且其最优解的集合形成一个凸集。凸规划的目标函数 f (x)为严格凸函数时，其最优解必定唯一（假定最优解存在）。

2. 无约束问题

2.1 一维搜索法

一维搜索：沿某一已知方向求目标函数的极小点

1. 试探法（“成功—失败”，斐波那契法，0.618 法等）；
2. 插值法（抛物线插值法，三次插值法等）；
3. 微积分中的求根法（切线法，二分法等）。

2.1.1 Fibonacci 法

Fibonacci函数（数列）：
$$\begin{gathered} F_0=F_1=1; \\ {F}_n=F_{n-2}+F_{n-1},n=2,3... \end{gathered}$$
Fibonacci分数：$\frac{F_{n-1}}{F_n}$

当用斐波那契法以 n 个探索点来缩短某一区间时，区间长度的第一次缩短率为$\frac{F_{n-1}}{F_n}$，其后各次分别为$\frac{F_{n-2}}{F_{n-1}}$$\frac{F_{n-3}}{F_{n-2}}$…$\frac{F_1}{F_2}$，设$t_1,t_2$为区间[a,b]上的第一个和第二个探索点，由缩短率可知：
$\frac{t_1-a}{b-a}=\frac{F_{n-1}}{F_n}$
$\frac{t_2-a}{b-a}=\frac{F_{n-2}}{F_n}$，
即$t_1=a+\frac{F_{n-1}}{F_n}(b-a)$
$t_2=a+\frac{F_{n-2}}{F_n}(b-a)$它们关于[a,b]是对称的点（可计算得到$t_1+t_2=(a+b)/2$）。
如果要求经过一系列探索点搜索之后，使最后的探索点和最优解之间的距离不超
过精度$\delta >0$，这就要求最后区间的长度不超过$\delta$，即
$\frac{b-a}{F_n}\le \delta$（用来计算探索次数n）。

综上，可总结出Fibonacci法的具体算法步骤：（不妨设$t_2<t_1$）

1. 选取初始数据，确定单峰区间$[a_o,b_o]$，给出搜索精度$\delta >0$，确定搜索次数n ;
2. $k=1,a=a_0,b=b_0$，计算最初两个搜索点，计算$t_1,t_2$
3. $$\begin{gathered} whilek<n-1（每次迭代都有一个点是上一次留下的） \\ {f}_1=f(t_1),f_2=f(t_2) \\ if{f}_1<f_2 \\ a=t_2;t_2=t_1;t_1=a+\frac{F(n-1-k)}{F(n-k)}(b-a) \\ else \\ b=t_1;t_1=t_2;t_2=b+\frac{F(n-1-k)}{F(n-k)}(a-b) \\ end \\ k+=1 \end{gathered}$$
4. 进行至n=k-1时，$t_1=t_2=\frac{a+b}{2}$，这就无法借比较函数值$f(t_1)$和$f(t_2)$的大小确定最终区间，为此，取$\{\begin{array}{l}{t}_2=\frac{a+b}{2}\\ t_1=a+(\frac{1}{2}+ϵ)(b-a)\end{array}$其中ε 为任意小的数。在$t_1,t_2$这两点中，以函数值较小者为近似极小点，相应的函数值为近似极小值。并得最终区间$[a,t_1]$或$[t_2,b]$。

注：如不理解可参考文末参考资料

2.1.2 0.618法

黄金分割：$w=\frac{1-w}{w}$
黄金分割比：$w=\frac{\sqrt{5}-1}{2}\approx 0.618$
黄金分割数ω 和 Fibonacci 分数之间有着重要的关系：$w=\underset{n\to \infty }{\lim }\frac{F_{n-1}}{F_n}$

用不变的区间缩短率0.618，代替斐波那契法每次不同的缩短率，就得到了黄金
分割法（0.618 法）。

每次缩短率为$\mu$，则最后的区间长度为$(b_0-a_0){\mu }^{k-1}$。当已知缩短的相对精度为$\delta$时，可用下式计算探索点个数${\mu }^{n-1}\le \delta$

2.2 二次插值法

在搜索区间中，不断用低次（通常不超过三次）多项式来近似目标函数，并逐步用插值多项式的极小点来逼近最优解。

书上就介绍这么多……

2.3 无约束极值问题的解法

2.3.1 解析法

2.3.1.1 梯度法（最速下降法）

微积分告诉我们，点$x^k$的负梯度方向$p^k=-\nabla f(x)$，是从点$x^k$出发使 $f$下降最快的方向。为此，称负梯度方向$p^k=-\nabla f(x)$为$f$在点$x^k$处的最速下降方向。每一轮沿最速下降方向作一维搜索，来建立求解无约束极值问题的方法，称之为最速下降法。其具体步骤如下：

1. 选取初始数据。选取初始点$x_0$，给定终止误差，令$k:=0$。
2. 求梯度向量。计算$\nabla f(x)$， 若$||\nabla f(x)||\le \epsilon$，停止迭代，输出$x^k$。否则，进行下一步。
3. 取$p^k=-\nabla f(x)$。
4. 进行一维搜索。求$t_k$，使得$f(x_k+t_k{p}^k)=\underset{t\ge 0}{\min }f(x_k+t{p}^k)$。令$x^{k+1}=x^k+t_k{p}^k,k:=k+1$，turn to step 2。

2.3.1.2 Newton法

目标函数$f$在点$x^k$处的二次逼近式：$f(X)\approx Q(x)=f(x^k)+\nabla f(x^k{)}^T(x-x^k)+\frac{1}{2}(x-x^k{)}^T{\nabla }^{2}f(x^k)(x-x^k)$（多元函数的二次泰勒展开式）

假定Hesse矩阵$\left[\begin{array}{ccc}\frac{{\partial }^{2}f(x^k)}{\partial x_1^2}& \cdots & \frac{{\partial }^{2}f(x^k)}{\partial x_1\partial x_n}\\ ⋮& \cdots & ⋮\\ \frac{{\partial }^{2}f(x^k)}{\partial x_n\partial x_1}& \cdots & \frac{{\partial }^{2}f(x^k)}{\partial x_n^2}\end{array}\right]$正定，则

1. 函数的二阶偏导数恒 > 0
2. 函数的变化率（斜率）即一阶导数始终处于递增状态
3. 函数为凸函数

对二次逼近是Q(x)再求偏导数得到：
$\nabla Q(x^{k+1})=\nabla f(x^k)+{\nabla }^{2}f(x^k)(x^{k+1}-x^k=0$
解得$x^{k+1}=x^k-[{\nabla }^{2}f(x^k){]}^{-1}\nabla f(x^k)$
可知搜索方向为：$p^k=-[{\nabla }^{2}f(x^k){]}^{-1}\nabla f(x^k)$，方向$p^k$称为牛顿方向。Newton法具体步骤如下：

1. 选取初始数据。选取初始点$x_0$，给定终止误差$\epsilon >0$，令$k:=0$。
2. 求梯度向量。计算 $\nabla f(x)$， 若$||\nabla f(x)||\le \epsilon$，停止迭代，输出$x^k$。否则进行下一步。
3. 构造 Newton 方向。计算$[{\nabla }^{2}f(x^k){]}^{-1}$，取$p^k=-[{\nabla }^{2}f(x^k){]}^{-1}\nabla f(x^k)$
4. 求下一迭代点。令$x^{k+1}=x^k+p^k,k:=k+1$，转 2

2.3.1.3 变尺度法

变尺度法（Variable Metric Algorithm）是近20多年来发展起来的。既避免了计算二阶导数矩阵及其求逆过程，又比梯度法的收敛速度快，特别是对高维问题具有显著的优越性。牛顿法的搜索方向是$-[{\nabla }^{2}f(x^k){]}^{-1}\nabla f(x^k)$，为了不计算二阶导数矩阵及其逆阵，我们设法构造另一个矩阵(记为${\bar{H}}^{(k)}$)，用它来逼近二阶导数矩阵的逆阵$[{\nabla }^{2}f(x^k){]}^{-1}$，这一类方法也称拟牛顿法（Quasi-Newton Method）。

Hesse阵的逆阵的第$k+1$次近似矩阵${\bar{H}}^{(k+1)}$满足关系式：
$x^{k+1}-x^k={\bar{H}}^{(k+1)}[\nabla f(x^{k+1})-\nabla f(x^k)]$（可理解为二阶导数），这就是拟牛顿条件。

令$\{\begin{array}{l}\Delta G^{(k)}=\nabla f(x^{k+1})-\nabla f(x^k)\\ \Delta x^k=x^{k+1}-x^k\end{array}$，
则拟牛顿条件变为$\Delta x^k={\bar{H}}^{(k+1)}\Delta G^{(k)}$。
假定${\bar{H}}^{(k)}$已知，通过${\bar{H}}^{(k+1)}={\bar{H}}^{(k)}+\Delta {\bar{H}}^{(k)}$，$\Delta {\bar{H}}^{(k)}$称为低k次校正矩阵：$\Delta {\bar{H}}^{(k)}=\frac{\Delta x^k\Delta (x^k{)}^T}{(\Delta G^k{)}^T\Delta (x^k)}-\frac{{\bar{H}}^{(k)}\Delta G^{(k)}\Delta (G^k{)}^T\Delta H^{(k)}}{(\Delta G^k{)}^T{\bar{H}}^k\Delta G^k}$，

从而：${\bar{H}}^{(k+1)}={\bar{H}}^{(k)}+\frac{\Delta x^k\Delta (x^k{)}^T}{(\Delta G^k{)}^T\Delta (x^k)}-\frac{{\bar{H}}^{(k)}\Delta G^{(k)}\Delta (G^k{)}^T\Delta H^{(k)}}{(\Delta G^k{)}^T{\bar{H}}^k\Delta G^k}$

上述矩阵称为尺度矩阵。通常，我们取第一个尺度矩阵$H^{(0)}$为单位阵，以后的尺度矩阵按上式逐步形成。

现将 DFP 变尺度法的计算步骤总结如下：

1. 给定初始点$x_0$及梯度允许误差$\epsilon >0$。
2. 若$||\nabla f(x)||\le \epsilon$，则$x_0$即为近似极小点，停止迭代，否则，转向下一步。
3. 令${\bar{H}}^{(0)}=I,p^0=-{\bar{H}}^{(0)}\nabla f(x^0)$，进行一维搜索，确定最佳步长${\lambda }_0,\underset{\lambda }{\min }f(x^0+\lambda p^0)$，得到下一个近似点$x^1=x^0+{\lambda }_0{p}^0$
4. 对$x^k$，若$||\nabla f(x)||\le \epsilon$，则$x^k$即为所求解，停止迭代，否则计算${\bar{H}}^{(k+1)}$，令$p^k=-{\bar{H}}^{(k)}\nabla f(x^k)$，在该方向上进行一维搜索，得${\lambda }_k$，从而可得下一个近似点$x^{k+1}=x^k+{\lambda }_k{p}^k$
5. 若$x^{k+1}$满足精度要求，则$x^{k+1}$即为所求的近似解，否则，转回4，直到求出某点满足精度要求为止。

2.3.2 直接法

问题的目标函数不可导或导函数的解析式难以表示时，人们一般需要使用直接搜索方法。

Powell 方法：由所谓基本搜索、加速搜索和调整搜索方向三部分组成，具体步骤如下：

1. 选取初始数据。选取初始点$x_0$，n 个线性无关初始方向，组成初搜索方向组$p^0\cdot \cdot \cdot p^{n-1}$。给定终止误差$\epsilon >0$，令$k:=0$。
2. 进行基本搜索。令$y_o:=x^k$，依次沿$p^0\cdot \cdot \cdot p^{n-1}$中的方向进行一维搜索。对应地得到辅助迭代点$y^1\cdot \cdot \cdot y^n$，即
   $$\begin{gathered} y^j=y^{j-1}+t_{j-1}{p}^{j-1} \\ f(y^{j-1}+t_{j-1}{p}^{j-1})=\underset{t\ge 0}{\min }f(y^{j-1}+t{p}^{j-1}) \end{gathered}$$
3. 构造加速方向。令$p^n=y^n-y^0$，若$||p^n||\le ϵ$，停止迭代，输出$x^{k+1}=y^n$，否则进行下一步。
4. 确定调整方向。通过$f(y^{m-1})-f(y^m)=\max \{f(y^{j-1})-f(y^j)|1\le j\le n\}$找出m，若$f(y^0)-2f(y^n)+f(2y^n-y^0)<2[f(y^{m-1})-f(y^m)]$成立进行5，否则进行6。
5. 调整搜索方向组。令$$\begin{gathered} x^{k+1}=y^n+t_n{p}^n:f(y^n+t_p^n)=\underset{t\ge 0}{\min }f(y^n+t{p}^n) \\ \{p^0\cdot \cdot \cdot p^{n+1}{\}}_{k+1}:=\{p^0\cdot \cdot \cdot p^{m-1},p^{m+1}\cdot \cdot \cdot p^{n-1},p^n\} \\ k:=k+1 \end{gathered}$$转到2
6. 不调整搜索方向组。$x^{k+1}:=y^n，k:=k+1$，转到2。

2.4 Matlab求无约束极值问题

[X,FVAL]=FMINUNC(FUN,X0,OPTIONS,P1,P2, ...) 

返回值 X 是所求得的极小点，FVAL 是函数的极小值，其它返回值的含义参见相关的帮助。FUN 是一个 M 文件，当 FUN 只有一个返回值时，它的返回值是函数 f (x)；当 FUN 有两个返回值时，它的第二个返回值是 f (x)的梯度向量；当 FUN 有三个返回值时，它的第三个返回值是 f (x)的二阶导数阵（Hessian 阵）。X0 是向量 x 的初值，OPTIONS 是优化参数，可以使用缺省参数。P1，P2 是可以传递给 FUN 的一些参数。
多元函数极值求解函数如下：

[X,FVAL,EXITFLAG,OUTPUT]＝FMINSEARCH(FUN,X0,OPTIONS,P1,P2,...)

3. 约束极值问题

3.1 二次规划

若某非线性规划的目标函数为自变量 x 的二次函数，约束条件又全是线性的，就称这种规划为二次规划。其标准形式如下：
$$\begin{gathered} \min \frac{1}{2}{x}^{T}Hx+f^{T}x, \\ s.t.\{\begin{array}{l}Ax\le b\\ Aeq\cdot x=beq\end{array} \end{gathered}$$
这里 H 是实对称矩阵， f ,b 是列向量， A 是相应维数的矩阵。

[X,FVAL]= QUADPROG(H,f,A,b,Aeq,beq,LB,UB,X0,OPTIONS) 

返回值 X 是决策向量 x 的值，返回值 FVAL 是目标函数在 x 处的值。

3.2 罚函数法

罚函数法，可将非线性规划问题的求解，转化为求解一系列无约束极值问题，因而也称这种方法为序列无约束最小化技术，简记为 SUMT (Sequential Unconstrained Minization Technique)。其思想是，利用问题中的约束函数作出适当的罚函数，由此构造出带参数的增广目标函数，把问题转化为无约束非线性规划问题。主要有两种形式，一种叫外罚函数法，另一种叫内罚函数法，下面介绍外罚函数法。

考虑问题：
$$\begin{gathered} \min f(x) \\ s.t.\{\begin{array}{l}{g}_i(x)\le 0,i=1\cdot \cdot \cdot r\\ h_j(x)\ge 0,j=1\cdot \cdot \cdot s\\ k_m(x)=0,m=1\cdot \cdot \cdot t\end{array} \end{gathered}$$
取一个充分大的数 M > 0 ，构造函数
$P(x,M)=f(x)+M\sum _{i=1}^r\max (g_i(x),0)-M\sum _{i=1}^s\max (h_i(x),0)+M\sum _{i=1}^t||k_i(x)||$。

则以增广目标函数 P(x, M ) 为目标函数的无约束极值问题minP(x,M )的最优解 x 也是原问题的最优解。

3.3 Matlab 求约束极值问题

在 Matlab 优化工具箱中，用于求解约束最优化问题的函数有：fminbnd、fmincon、quadprog、fseminf、fminimax，详细使用方法可在matlab中使用help/doc + 函数名得方式查看.。

3.3.1 fminbnd 函数

求单变量非线性函数在区间上的极小值

[X,FVAL] = FMINBND(FUN,x1,x2,OPTIONS)

它的返回值是极小点 x 和函数的极小值。这里 fun 是用 M 文件定义的函数或 Matlab 中的单变量数学函数。

3.3.2 fseminf 函数

X=FSEMINF(FUN,X0,NTHETA,SEMINFCON,A,B,Aeq,Beq)

3.3.3 fminimax 函数

X=FMINIMAX(FUN,X0,A,B,Aeq,Beq,LB,UB,NONLCON)

3.4 Matlab 优化工具箱的用户图形界面解法

Matlab 优化工具箱中的 optimtool 命令提供了优化问题的用户图形界面解法。optimtool 可应用到所有优化问题的求解，计算结果可以输出到 Matlab 工作空间中。

参考资料

Fibonacci法与黄金分割法
海森矩阵