数学建模预备知识——非线性规划

非线性规划

非线性规划模型

概念的引入

如果目标函数或者约束条件中包含非线性函数，就称这种规划问题为非线性规划问题。一般来说，解非线性规划要比解线性规划问题困难。而且也不像线性规划有单纯形法这一通用方法，非线性规划目前还没有适用于各种问题的一般算法，各个方法都有自己的适用范围

例：某企业有 $n$ 个项目可供投资选择，并且至少要对其中1个项目投资，已知该企业拥有总资金 $A$ 元，投资第$i$个项目需要花费 $a_i$ 元，并且预计可以收益 $b_i$ 元。试选择最佳投资方案。

解：

不妨设投资决策变量为
$$x_i=\{\begin{array}{ll}1,& 决定投资第i个项目\\ 0,& 决定不投资第i个项目\end{array}$$
则总投资金额为 $\sum _{i=1}^n{a}_i{x}_i$ ，投资总收益为 $\sum _{i=1}^n{b}_i{x}_i$ ，

由于公司的总投资金额有限，所有有限制条件 $0<\sum _{i=1}^n{a}_i{x}_i\le A$

对于决策变量 $x_i$ ，因为其只能取 $0or1$，因此增加条件 $x_i(1-x_i)=0$

对于最佳投资方案，有投资收益与投资金额的比值是最大的，因此可以构建数学模型
$$\begin{gathered} \max Q=\frac{\sum _{i=1}^n{b}_i{x}_i}{\sum _{i=1}^n{a}_i{x}_i} \\ s.t.\{\begin{array}{l}0<\sum _{i=1}^n{a}_i{x}_i\le A\\ x_i(1-x_i)=0,i=1,2\cdots ,n\end{array} \end{gathered}$$

注意到，上述例题是在一组不等式和等式限制条件约束下，求解一个函数的最大值或者最小值，只不过其中包含着非线性函数，因此这类问题称为非线性规划问题。可以将其统一成以下一般形式
$$\begin{gathered} \min f(x) \\ s.t.\{\begin{array}{ll}{h}_i(x)\le 0,& i=1,2,\cdots ,p\\ g_j(x)=0,& j=1,2,\cdots ,q\end{array} \end{gathered}$$
其中 $x=[x_1,\cdots ,x_n{]}^T$ 为决策变量，$f$ 为目标函数，$g_i$ 为等式约束条件，$h_i$ 为不等约束条件

非线性规划的Matlab求解

Matlab种非线性规划的数学模型应该统一成以下一般形式
$$\begin{gathered} \min f(x) \\ s.t.\{\begin{array}{l}A\cdot x\le b\\ A_{eq}\cdot x=b_{eq}\\ c(x)\le 0\\ c_{eq}(x)=0\\ lb\le x\le ub\end{array} \end{gathered}$$
其中$A,Aeq$ 为矩阵，$b,b_{eq},lb,ub$ 均为列向量，$c(x),c_{eq}(x)$ 为非线性向量函数

可以调用Matlab中的fmincon函数进行求解
$$[x,fval]=fmincon(fun,x_0,A,b,A_{eq},b_{eq},lb,ub,nonlcon,options)$$
$x$ 为返回的决策向量，$fval$ 为返回的目标函数的最小值，$fun$ 是用.m文件定义的目标函数(也可以定义为匿名函数)，$x_0$ 是决策向量 $x$ 的初始值，$A,b$ 用来描述线性不等约束，$A_{eq},b_{eq}$ 用来描述线性等式约束，如果没有就用[]来代替。$lb,ub$ 是 $x$ 的上下限，如果没有也用[]来代替。$nonlcon$ 是用.m文件定义的非线性向量函数 $c(x),c_{eq}(x)$。$options$ 定义了优化参数，可以使用Matlab种默认的参数来设置。

例：求解下列非线性规划
$$\begin{gathered} \min f(x)=x_1^2+x_2^2+x_3^2+8 \\ s.t.\{\begin{array}{l}{x}_1^2-x_2+x_3^2\ge 0\\ x_1+x_2^2+x_3^3\le 20\\ -x_1-x_2^2+2=0\\ x_2+2x_3^2=3\\ x_1,x_2,x_3\ge 0\end{array} \end{gathered}$$
解：

先编写nonlcon参数的f2.m文件

function [g,h]=f2(x)
g=[-x(1)^2+x(2)-x(3)^2
x(1)+x(2)^2+x(3)^3-20]
h=[-x(1)-x(2)^2+2
x(2)+2*x(3)^2-3]

编写主程序

f1=@(x)x(1)^2+x(2)^2+x(3)^2+8
x0=[1;1;1]
lb=zeros(3,1)
[x,fval]=fmincon(f1,x0,[],[],[],[],lb,[],'f2')

求得结果为：当 $x_1=0.5522,x_2=1.2033,x_3=0.9487$ 时，有最小值 $f_{min}=10.6511$

无约束问题的Matlab求解

无约束极值问题的符号解

例：求多元函数 $f(x,y)=x^3-y^3+3x^2+3y^2-9x$ 的极值

解：

先求出偏导数解出驻点
$$\{\begin{array}{l}{f}_x(x,y)=3x^2+6x-9=0\\ f_y(x,y)=-3y^2+6y=0\end{array}$$
解出驻点为 $(1,0),(1,2),(-3,0),(-3,2)$

再计算出Hessian矩阵，判断驻点是否是极值点

$$\left[\begin{array}{cc}\frac{{\partial }^{2}f}{\partial x^2}& \frac{{\partial }^{2}f}{\partial x\partial y}\\ \frac{{\partial }^{2}f}{\partial x\partial y}& \frac{{\partial }^{2}f}{\partial y^2}\end{array}\right]=\left[\begin{array}{cc}6+6x& 0\\ 0& 6-6y\end{array}\right]$$

如果在某驻点处Hessian矩阵正定，则该驻点是极小值点；如果在某驻点处Hessian矩阵负定，则该驻点时极大值点；如果在某驻点处Hessian矩阵半正定或半负定时，则无法判断是极大值点还是极小值点；如果在某驻点处Hessian为不定矩阵，则该驻点不是极值点。

经过验证后，$(1,0)$ 是极小值点，$f_{min}=-5$；$(-3,2)$ 是极大值点，$f_{max}=31$；$(1,2),(-3,0)$ 不是极值点。

Matlab具体代码如下

syms x y
f=x^3-y^3+3*x^2+3*y^2-9*x
df=jacobian(f) %求一阶偏导数
ddf=jacobian(df)  %求二阶偏导数
[xx,yy]=slove(df)  %求驻点
xx=double(xx),yy=double(yy)  %数据类型转化，因为求特征根要求时双精度浮点型
for i=1:length(xx)
	a=subs(ddf,{x,y},{xx(i),yy(i)})  %计算Hessian矩阵
	b=eig(a)  %求a矩阵的特征根
	fval=subs(f,{x,y},{xx(i),yy(i)})  %计算f的值
	if all(b>0)
		fprintf('(%f,%f)为极小值点，极小值为%f\n',xx(i),yy(i),fval)
    elseif all(b<0)
    	fprintf('(%f,%f)为极大值点，极大值为%f\n',xx(i),yy(i),fval)
    elseif any(b>0)&any(b<0)
    	fprintf('(%f,%f)不是极值点\n',xx(i),yy(i))
    else
    	fprintf('无法确定(%f,%f)是极大值还是极小值',xx(i),yy(i))
    end
end

无约束极值问题的数值解

在Matlab工具箱中，求解无约束极小值问题的函数有fminunc和fminsearch，基本用法如下

求解函数的极小值
$$\underset{x}{\min }f(x)x为标量或向量$$

• Matlab中fminunc的基本命令为

$$[x,fval]=fminunc(fun,x_0,options)$$

• Matlab中fminsearch的基本命令为

  $$[x,fval]=fminsearch(fun,x+0,options)$$

  返回值： $x$ 为所求得极小值点的向量，$fval$ 为函数的极小值。

  $fun$ 是一个.m编写的函数文件或者匿名函数，当 $fun$ 只有一个返回值的时候，他的返回值是函数 $f(x)$ ；当 $fun$ 有两个返回值的时候，他的第二个返回值为 $f(x)$ 的梯度向量；当 $fun$ 有三个返回值的时候，第三个返回值为 $f(x)$ 的二阶导数矩阵Hessian矩阵。

  $x_0$ 是 $x$ 的初始值

  $options$ 是优化参数，没有对应实参的时候就使用默认参数

例1：求解多元函数 $f(x,y)=x^3-y^3+3x^2+3y^2-9x$ 的极值。

解：直接贴代码

f=@(x) x(1)^3-x(2)^3+3*x(1)^2+3*x(2)^2-9*x(1)
g=@(x) -f(x)
[xy1,fmin]=fminunc(f,rand(2,1))
[xy2,fmax]=fminsearch(g,rand(2,1))

结果为： $(1,0)$ 为极小值点，$fmin=-5$ ; $(-3,2)$ 为极大值点，$fmax=31$。

例2：求函数 $f(x)=100(x_2-x_1^2{)}^2+(1-x_1{)}^2$ 的极小值

解：

两个返回值的 fun2.m

function [f,grad]=fun2(x);
f=100*(x(2)-x(1)^2)^2+(1-x(1))^2
grad=[-400*x(1)*(x(2)-x(1)^2)-2*(1-x(1))
200*(x(2)-x(1)^2)];

三个返回值的fun3.m

function [f,grad,ddf]=fun3(x);
f=100*(x(2)-x(1)^2)^2+(1-x(1))^2;
grad=[-400*x(1)*(x(2)-x(1)^2)-2*(1-x(1))
200*(x(2)-x(1)^2)];
ddf=[-400*x(1)+1200*x(1)^2+2 , -400*x(1)
-400*x(1) , 200];

编写主函数

option2=optimset('GradObj','on')
option3=optimset('GradObj','on','Hessian','on')
[x2,y2]=fminunc('fun2',rand(2,1),option2)
[x3,y3]=fminunc('fun3',rand(2,1),option3)

一般来说，提供的信息越多，计算越快，精度越高

求函数的零点和方程组的解

• 求函数的零点

  例：求多项式 $f(x)=x^3-x^2+2x-3$ 的零点

  解：

  采用针对于多项式求解的roots

  p=[1,-1,2,-3]
  x=roots(p)
  

  还可以采用solve，来求解解析解，如果没有解析解，可以采用vpasolve求解数值解

  syms x
  x0=vpasolve(x^3-exp(x)-5)
  

• 求解方程组的解

  例：求方程组
  $$\{\begin{array}{l}{x}^2+y-6=0\\ y^2+x-6=0\end{array}$$
  解：

  syms x y
  [x0,y0]=solve(x^2+y-6,y^2+x-6)  %%同样可以使用vpasolve求解数值解
  

约束极值问题

带有约束条件的极值问题称为约束极值问题

求解约束极值问题要困难得多。为了简化其优化工作，可以采用以下方法：

• 将约束问题转化为无约束问题
• 将非线性规划问题转化为线性规划问题
• 将复杂的问题转化为较为简单的问题

二次规划

若某非线性规划的目标函数为自变量 $x$ 的二次函数，约束条件又全是线性的，就称这种规划为二次规划

在Matlab中二次规划的数学模型一般形式为
$$\begin{gathered} \min \frac{1}{2}{x}^{T}Hx+f^{t}x \\ s.t.\{\begin{array}{l}Ax\le b\\ A_{eq}x=b_{eq}\\ lb\le x\le ub\end{array} \end{gathered}$$
其中，$H$ 为实对称矩阵，是二次型系数矩阵的二倍；$f,b,b_{eq},lb,ub$ 均为列向量，$A,A_{eq}$ 为系数矩阵

Matlab中求解二次规划的命令为
$$[x,fval]=quadprog(H,f,A,b,A_{eq},b_{eq},lb,ub,x_0,options)$$

例：求解二次规划
$$\begin{gathered} \min f(x)=2x_1^2-4x_1{x}_2+4x_2^2-6x_1-3x_2 \\ s.t.\{\begin{array}{l}{x}_1+x_2\le 3\\ 4x_1+x_2\le 9\\ x_1,x_2\ge 0\end{array} \end{gathered}$$
解：

%先求解H
syms x y
f=2*x^2-4*x*y+4*y^2-6*x-3*y
H=hessian(f,[x,y])
%再求解二次规划
f=[-6;-3]
A=[1,1;4,1]
b=[3;9]
[x,fval]=quadprog(H,f,A,b,[],[],zeros(2,1))

解得：$x_1=1.9500$，$x_2=1.0500$，$minf(x)=-11.0250$ 。

罚函数法

利用罚函数法，可以将非线性规划问题的求解转化为一系列无约束极值问题，因而这种方法被称为序列无约束最小化技术**(SUMT)**

罚函数法求解非线性规划问题的思想为：利用问题中的约束函数做出适当的罚函数，由此构造出带参数的增广目标函数，把问题转化为无约束非线性规划问题。主要有两种形式：外罚函数法和内罚函数法

简单介绍外罚函数法

研究问题
$$\begin{gathered} \min f(x) \\ s.t.\{\begin{array}{ll}{g}_i(x)\le 0,& i=1,\cdots ,r\\ h_j(x)\ge 0,& j=1,\cdots ,s\\ k_m(x)=0,& m=1,\cdots ,t\end{array} \end{gathered}$$
现取一个充分大的整数 $M$ ，构造函数
$$P(x,M)=f(x)+M\sum _{i=1}^{r}max(g_i(x),0)-M\sum _{j=1}^{s}max(h_j(x),0)+M\sum _{m=1}^t|k_m(x)|$$

或者写成

$$P(x,M)=f(x)+Msum(max(\begin{array}{c}G(x)\\ 0\end{array}))-Msum(min(\begin{array}{c}H(x)\\ 0\end{array}))+M\Vert K(x)\Vert$$

其中$G(x)=[g_1(x),\cdots ,g_r(x)]$，$H(x)=[h_1(x),\cdots ,h_s(x)]$，$K(x)=[k_1(x),\cdots ,k_m(x)]$

例：求解下列非线性规划
$$\begin{gathered} \min f(x)=x_1^2+x_2^2+8 \\ s.t.\{\begin{array}{l}{x}_1^2-x_2\ge 0\\ -x_1-x_2^2+2=0\\ x_1,x_2\ge 0\end{array} \end{gathered}$$
解：

先定义增广函数

function P=test(x);
M=10^9;
f=x(1)^2+x(2)^2+8;
P=f-M*sum(min([x';zeros(size(x'))]))-M*min([x(1)^2-x(2),0])+M*abs(-x(1)-x(2)^2+2);

在主函数中只需要调用fminsearch即可求解

[x,fval]=fminsearch('test',rand(2,1))

P.S. 这种方法只能求得局部最优解，很难得到全局最优解，所以可能每次运行的结果都不相同

Matlab中求解约束极值问题

在Matlab优化工具箱中，用于求解约束最优化问题的函数有fminbnd，fmincon，quadprog，fseminf，fminimax，之前已经介绍过了fmincon和quadprog

• fminbnd 函数

  求解单变量非线性函数在区间上的极小值
  $$\underset{x}{\min }f(x),x\in [x_1,x_2]$$
  在Matlab中的命令为
  $$[x,fval]=fminbnd(fun,x_1,x_2,options)$$

  例：求函数$f(x)=(x-3{)}^2-1,x\in [0,5]$ 的最小值

  解：

  先编写fun.m文件

  function f=fun(x);
  f=(x-3)^2-1;
  

  在编写主函数

  [x,y]=fminbnd('fun',0,5);
  

• fseminf函数

  其一般形式为
  $$\begin{gathered} \min f(x) \\ s.t.\{\begin{array}{l}A\cdot x\le b\\ A_{eq}\cdot x=b_{eq}\\ lb\le x\le ub\\ c(x)\le 0\\ c_{eq}(x)=0\\ K_i(x,w_i)\le 0,i=1,\cdots ,n\end{array} \end{gathered}$$
  其中：$K_i(x,w_i)$ 为标量函数，$w_1\cdots w_n$ 为附加变量

  在Matlab中的命令为
  $$[x,fval]=fseminf(fun,x_0,ntheta,seminfcon,A,b,A_{eq},b_{eq},lb,ub)$$
  其中：$ntheta$ 是半无穷约束 $K_i(x,w_i)$ 的个数；函数 $seminfcon$ 用于顶i有非线性不等式约束 $c(x)$、非线性等式约束 $c_{eq}(x)$ 和半无穷约束 $K_i(x,w_i)$ 的函数，$seminfcon$ 函数拥有两个输入参数$x、s$ ，$s$ 为推荐的取样步长，可以不适用

  例：求函数 $f(x)=(x_1-0.5{)}^2+(x_2-0.5{)}^2+(x_3-0.5{)}^2$ 取得最小值时的 $x$ 值，约束条件为
  $$\begin{gathered} K_1(x,w_1)=sin(w_1{x}_1)cos(w_1{x}_2)-\frac{1}{1000}(w_1-50{)}^2-sin(w_1{x}_3)-x_3\le 1 \\ {K}_2(x,w_2)=sin(w_2{x}_2)cos(w_2{x}_1)-\frac{1}{1000}(w_2-50{)}^2-sin(w_2{x}_3)-x_3\le 1 \\ 1\le w_1\le 100,1\le w_2\le 100 \end{gathered}$$
  解：

  先编写fun.m

  function f=fun(x,s);
  f=sun((x-0.5).^2);
  

  再编写seminfcon.m

  function [c,ceq,k1,k2,s]=seminfcon(x,s);
  c=[];
  ceq=[];
  if isnan(s(1,1))
  	s=[0.2 0;0.2 0];
  end
  w1=0:s(1,1):100;
  w2=0:s(2,1):100;
  k1=sin(w1*x(1)).*cos(w1*x(2))-1/1000*(w1-50).^2-sin(w1*x(3))-x(3)-1;
  k2=sin(w2*x(2)).*cos(w2*x(1))-1/1000*(w2-50).^2-sin(w2*x(3))-x(3)-1;
  plot(w1,k1,'-',w2,k2,'+')
  

  编写主函数

  x0=[0.5;0.2;0.3];
  [x,y]=seminfcon('fun',x0,2,'seminfcon')
  

  最终结果为：$x_1=0.6675,x_2=0.3012,x_3=0.4022$，对应的最小值为 $f(x{)}_{min}=0.0771$。

• fminimax函数

  当遇到求解极小-极大值问题时，其一般形式为
  $$\begin{gathered} \underset{x}{\min }\underset{i}{\max }{F}_i(x) \\ s.t.\{\begin{array}{l}A\cdot x\le b\\ A_{eq}\cdot x=b_{eq}\\ c(x)\le 0\\ c_{eq}(x)=0\\ lb\le x\le ub\end{array} \end{gathered}$$

  在Matlab中的命令为
  $$[x,fval]=fminimax(fun,x_0,A,b,A_{eq},b_{eq},lb,ub,nonlcon,options)$$

  例：求函数族 $\{f_1(x),f_2(x),f_3(x),f_4(x),f_5(x)\}$ 取极小-极大值的时候，$x$ 的值，其中
  $$\{\begin{array}{l}{f}_1(x)=2x_1^2+x_2^2-48x_1-40x_2+304\\ f_2(x)=-x_1^2-3x_2^2\\ f_3(x)=x_1+3x_2-18\\ f_4(x)=-x_1-x_2\\ f_5(x)=x_1+x_2-8\end{array}$$
  解：

  问题其实就是求解无条件限制下 $\min \limits _x \max \limits _i f_i(x) $，因此先编写 fun.m 文件

  function f=fun(x);
  f=[2*x(1)^2+x(2)^2-48*x(1)-40*x(2)+304
  -x(1)^2-3*x(2)^2
  x(1)+3*x(2)
  -x(1)-x(2)
  x(1)+x(2)-8]
  

  在主函数中调用fminimax

  [x,y]=fminimax('fun',rand(2,1))
  

  得到结果为：$x_1=4,x_2=4$，此时 $f_1(x)=0$，$f_2(x)=-64$，$f_3(x)=-2$，$f_4(x)=-8$，$f_5(x)=0$。

  如果想要求极大-极小值问题，可以将问题进行如下变形
  $$\underset{x}{\max }\underset{i}{\min }{F}_i(x)=-\underset{x}{\min }\underset{i}{\max }[-F(x)]$$
  可以通过设置options中的MinAbsMax属性来使fminimax函数适用于求解极大-极小值问题

• 利用梯度求解约束优化问题

  使用梯度求解约束机制问题的时候，效率更高且结果更加准确

  例：已知函数 $f(x)=e^{x_1}(4x_1^2+2x_2^2+4x_1{x}_2+2x_2+1)$，求
  $$\begin{gathered} \min f(x) \\ s.t.\{\begin{array}{l}{x}_1{x}_2-x_1-x_2\le -1.5\\ x_1{x}_2\ge -10\end{array} \end{gathered}$$
  解：

  目标函数的梯度为
  $$\left[\begin{array}{c}{e}^{x_1}(4x_1^2+2x_2^2+4x_1{x}_2+8x_1+6x_2+1)\\ e^{x_1}(4x_1+4x_2+2)\end{array}\right]$$
  先编写fun.m定义目标函数和梯度函数

  function [f,df]=fun(x);
  f=exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+2*x(2)+1)
  df=[exp(x(1))*(4*x(1)^2+2*x(2)^2+4*x(1)*x(2)+8*x(1)+6*x(2)+1)
  exp(x(1))*(4*x(1)+4*x(2)+2)]
  

  编写nonlcon.m来定义约束条件以及约束条件梯度函数

  function [c,ceq,dc,dceq]=nonlcon(x);
  c=[x(1)*x(2)-x(1)-x(2)+1.5;-x(1)*x(2)-10];
  dc=[x(2)-1,-x(2);x(1)-1,-x(1)];
  ceq=[],dceq=[];
  

  在主函数中调用fmincon函数

  options=optimset('GradObj','on','GradConstr','on');
  [x,y]=fmincon('fun',rand(2,1),[],[],[],[],[],[],'nonlcon',options)
  

  求得 $x_1=-9.5474,x_2=1.0474$，对应的极小值为 $y=0.0236$。

Matlab中的优化工具箱

Matlab中优化工具箱中的optiomtool命令提供了优化问题的用户图形化界面解法。