第六章 集合约束和无约束优化问题的基础知识

第六章 集合约束和无约束优化问题的基础知识

6.1 引言

本章讨论的如下形式的优化问题：

寻找能使目标函数最小的取值，这些值是互相独立的，而在无约束优化中，对未知数无限制。
局部极小点和全局极小点：

定义6.1

无非就是下图，不多说：

图6-1-1

6.2 局部极小点的条件

首先要回顾一个知识点：梯度。
梯度:梯度是一个响亮，表示某一函数在该点的方向导数沿着该方向取得最大值。事实上梯度就是一个切平面，它与当前点x的切向量正交。
如果函数一阶可导，则梯度就是一阶导数的转置。。函数的二阶导数也被称为黑塞矩阵，可表示为：

黑塞矩阵

可行方向：极小点可能位于约束集的内部也可能在其边界上，因此引入可行方向来确定极小点的优化方向：

定义6.2

不难理解，方向就是一个标量，如果当前点加上这个标量（或者其倍数）仍然在约束集里，说明往这个方向走还能继续优化，这个标量就是可行的。
d的计算方法：

方向d的计算方法

极小点的满足以下条件：

定理6-1极小点的一阶必要条件

也就是说，极小点任意可行方向的增长率都是非负的。另有推论6-1

推论6.1

image.png

image.png

image.png