无约束极值问题的解法

华电北风吹
最后修改日期 2015/11/7

无约束极值问题可以表述为
minf(X),XRn
对于这类问题的求解一般要用到迭代法。迭代法可分为两大类。一类是要用到函数一阶导数或二阶导数的解析法;另一类是迭代过程中只用到函数值的直接法。常见的解析法有梯度下降法,共轭梯度法,变尺度法。常见的直接法有步长加速法。

一、梯度下降法
假设 Xk 表示极小值点的第k次迭代。求解第k+1次迭代过程为
Xk+1=Xk+λPk
Pk 表示函数 f(X) 在点 Xk 处的负梯度。 λ 是步长。
其中,步长可以设定为一个常数值。当然,也可以通过一维搜索求解使得函数 f(X) 在点 Xk 沿方向 Pk 下降最多的步长(最速下降法)。

二、共轭梯度法

三、变尺度法

四、步长加速法

你可能感兴趣的:(无约束极值问题的解法)