最优化理论的方法

一、最优化理论研究什么问题

    1、无约束最优化

    2、带约束最优化

即研究的是函数最小化问题。（举例说明）

二、最优化方法的基本处理结构：

    1、选定初始点 

    2、确定搜索方向 ,依照一定规则，构造  在  点处的下降方向作为搜索方向。

    3、确定步长因子 ，使目标函数值有某种意义的下降

    4、令 , 若 满足某种终止条件，则停止迭代，得到最优解，否则重复（2）步骤。

三、如何确定下降方向

    1、考虑二次式

        

        （问题：为什么是二次式呢？）

    2、二次式的可视化

        令上式中

        3、应用梯度方法找出下降方向

           问题1：是不是沿梯度下降的方向去选择方向就最好呢？——The Steepest Descent

           问题 2：最优点有什么性质？

    4、对于二次型有

    5、找出下降的步长

        1）精确步长（精确一维线性搜索）

        2）近似步长（不精确）

    6、常见最优化方法

        1）最速下降法

        2）牛顿法

        3）共轭梯度法

        4）拟牛顿法