Matlab无约束优化

无约束优化原理

求解无约束优化的方法主要有直接搜索法（search method）和梯度法（gradient method）.
直接搜索法适合目标函数高度非线性，没有导数或者导数很难计算的情况，直接搜索方法包括单纯形法，Hooke-Jeeves搜索法，Pavell共轭方向法等.
梯度法在可以得到导数信息的情况下是一种更优的方法，该方法利用一阶导数和Hessian矩阵的信息，可以得到更快的收敛速度。常用的梯度法包括最速下降法，Newton法，Marquart法，共轭梯度法和拟牛顿法（Quasi-Newton method）.

Matlab工具箱求解算法

1. 大型优化算法：在提供函数梯度信息的情况下，默认使用大型优化算法，在每一个迭代步骤中使用PCG法求解大型线性系统得到近似解。
2. 中型优化算法：fminunc函数中的参数options.LargeScale设置为off，该算法采用基于二次和三次混合插值的一维搜索算法的BFGS拟牛顿法
3. 一维搜索算法的设置，options.LineSearchType设置为quadcubic时，采用二次和三次混合插值法，options.LineSearchType设置为cubicpoly时，将采用三次插值法

应用1：资金调用问题

source：Matlab优化算法 Page 186
令$x_i$表示第$i$所使用的资金，总收益为$T$，目标函数为
$$\max T=\sqrt{x_1}+\sqrt{x_2}+\sqrt{x_3}+\sqrt{x_4}$$
约束条件为
$$\{\begin{array}{l}{x}_1\le 400\\ 1.1x_1+x_2\le 440\\ 1.21x_1+1.1x_2+x_3\le 484\\ 1.331x_1+1.21x_2+1.1x_3+x_4\le 532.4\\ x_i\ge 0\end{array}$$

matlab code

clear all;
clc;
A = [1.1, 1, 0, 0; 1.21, 1.1, 1, 0; 1.331, 1.21, 1.1, 1];
b = [440, 484, 532.4];
lb = [0, 0, 0, 0];
ub = [400, 1000, 1000, 1000];
x0 = [100, 100, 100, 100]; % set initial point
[x, fval] = fmincon('obj_642', x0, A, b, [], [], lb, ub);
disp(x);
disp(fval);

应用2：经营最佳安排问题

source：Matlab优化算法 Page 189

matlab code

clear all;
clc;
lb = [0, 0];
x0 = [0, 0];
[x, w] = fmincon('obj_643', x0, [], [], [], [], lb, [], 'cons');
disp(x);
disp(w);

数值迭代法求解无约束极值问题

数值迭代的基本思想是从一个初始点$X^{(0)}$出发，在可行方向$d^{(0)}$搜索，确定最佳步长${\alpha }_0$，使得函数沿着$d^{(0)}$下降最大
$$X^{(k+1)}=X^{(k)}+{\alpha }_k{d}^{(0)(k)}\text{\hspace{1em}(1)}$$

黄金分割法

该方法适合在已知极值区间的基础上，不断缩小区间找到极值，要求目标函数为单峰，算法步骤如下：

1. 给定区间$[a,b]$及$eps>0$
2. 计算$r=a+0.382(b-a),u=a+0.618(b-a)$
3. 如果$f(r)>f(u)$，则进行下一步，否则转(5)
4. 如果$u-r<eps$，则停止计算，输出$x^{\ast }=u,f^{\ast }=f(u)$，否则令$a=r,r=u,u=a+0.618(b-a)$，转(3)
5. 如果$u-r<eps$，则停止计算，输出$x^{\ast }=r,f^{\ast }=f(r)$，否则令$b=u,u=r,r=a+0.382(b-a)$，转(3)

无约束多维极值

该类问题可以使用直接法求解，不需要计算导数，只需要计算函数值。

模式搜索法

轴向移动的目标是找到有利的下降方向，而模式移动的目标是沿着有利下降方向加速移动，可以使用patternsearch函数调用。

code

clear all;
clc;
x0 = [0, 0];
x = patternsearch(@psobj, x0);
disp(x);

单纯形搜索（Simplex）

单纯形法是从一个可行解出发，不断找到可以改进目标值的基本可行解，达到最优基本可行解。

Powell法

该方法的本质是共轭方向法，Powell法将整个计算过程分解为若干阶段，在每个阶段由$n+1$次一维搜索组成，首先沿着已知的$n$个方向进行搜索，找到一个最好点，然后沿着本阶段的初始点与该最好点连线方向进行搜索，定位出本阶段的最好点。根据得到的最好方向进行下一阶段的迭代。

最速下降法

将$n$维问题转化维一系列负梯度方向使用一维搜索方法寻优。
由方程$(1)$，设置方向为负梯度方向
$$d^{(k)}=-\frac{\nabla f(x^{(k)})}{\Vert \nabla f(x^{(k)})\Vert }$$
最速方向的迭代公式为
$$X^{(k+1)}=X^{(k)}-{\alpha }_k\frac{\nabla f(X^{(k)})}{\Vert f(X^{(k)})\Vert }$$
在第$k$次迭代初始点$X^{(k)}$和搜索方向$d^{(k)}$确定时，原始目标函数为关于步长$\alpha$的一维函数
$$\phi (\alpha )=f(x^{(k)}+\alpha S^{(k)})$$
在可导的情况下，可以得到
$$\{\begin{array}{l}\phi (\alpha )=[\nabla f(x^{(k)}+\alpha d^{(k)}){]}^T\nabla f(x^{(k)})=0\\ [\nabla f(x^{(k+1)}){]}^T\nabla f(x^{(k)})=0\\ [d^{(k+1)}{]}^T{d}^{(k)}=0\end{array}$$
可以发现，连续两次搜索方向互相正交，形成Z形状的搜索路径。

共轭梯度法

最速下降法在越接近极值点的区域的搜索效率越差，因此采用近似的思想对最速下降法进行改进，根据目标函数在极值点附近可以近似于一个二次函数，希望进行一次迭代达到极值点$x^{\ast }$
$$x^{\ast }=x^{(1)}+\alpha d^{(1)}$$
对$f(x)$进行Taylor Expansions
$$f(x)=\frac{1}{2}{x}^{T}Gx+B^{T}x+C$$
在$x^{(1)}$的梯度为
$$\nabla f(x^{(1)})=G{x}^{(1)}+B$$
在极值点$x^{\ast }$，满足必要条件，代入得到
$$\nabla f(x^{\ast })=G[x^{(1)}+{\alpha }_1{d}^{(1)}]+B=\nabla f(x^{(1)})+{\alpha }_{1}G{d}^{(1)}=0$$
等式两侧同时乘以$[d^{(0)}{]}^T$，可以得到
$$[d^{(0)}{]}^{T}G{d}^{(1)}=0$$
向量$d^{(0)}$和$d^{(1)}$成为$G$的共轭方向。

拟牛顿法

拟牛顿法是利用目标函数$f$和一阶导数$g$的信息，构造出目标函数的曲率近似