【高等工程数学】南理工研究生课程 突击笔记8 最优化方法1——线性搜索

最优化方法1——线性搜索

---

---

写在前面

第五章内容很多，而且平均每次都要考两题，大致内容如下，这次先写线性搜索部分

---

一、一维搜索

大多数最优化问题的迭代方法，都是从某一个点开始，以某种方式确定搜索方向和步长，然后找到下一个点。

不同的迭代方法区别在于搜索方向和步长的选择方式不同，例如最速下降法将该点的梯度作为搜索方向，共轭梯度法的搜索方向与上一步的方向有关，牛顿法步长取1.

二、最速下降法

最速下降法是无约束最优化算法最简单的方法。具体步骤如下：

1. 求起点的梯度，将其反方向作为搜索方向
2. 求得该搜索方向下能使函数值最小的步长
3. 得到下一个点

例19年第五题

三、牛顿法

最速下降法计算量小、存储量小，但对整体求解过程来说，这个方法非常缓慢。为了加快收敛速度，用牛顿法来求解。

牛顿法与最速下降的不同在于搜索方向的选择。具体步骤如下：

1. 求起点的一阶和二阶梯度矩阵，将二阶逆乘一阶的反方向作为搜索方向
2. 步长为1
3. 求得第二个点
   

四.共轭梯度法

共轭梯度法与最速下降法的区别在于其从第二次开始，每次的搜索方向都会考虑前一次的方向。

---

总结

先写这么多