数值优化之凸函数

目录

1、凸函数的性质

 2、凸函数的性质

---

1、凸函数的性质

        凸函数最重要的性质是Jensen不等式 。

         若能取到等号则为凸函数，取不到等号为严格凸函数。若不等号相反，则为凹函数。

         函数上方的区域称为上方图，“凸函数”与“上方图是凸集”是充要条件。

        凸函数的任意 α 下水平集都是凸集。而某个函数的下水平集都是凸集，但这个函数却不一定是凸函数。

         拟凸函数的和不一定是拟凸的，凸函数的和一定是凸的，可见凸的性质比较容易保留。

为什么我们要研究凸函数？

        （1）任何最小值是全局的；

        （2）最小值集合是凸的；

        凸函数经过仿射变换仍然是凸函数：因为凸函数的上方图经过仿射变换仍是凸的 

        point-wise max：逐点取大运算，即通过将运算分别应用于定义域中每个点的函数值来定义函数的取大运算

 2、凸函数的性质

         凸函数一定在线性近似函数的上方

        若某点梯度为0，则所有其他函数值都大于等于这一点的函数值，可见凸函数的局部最优解就是全局最优解

         对于非凸函数，可以在极小值附近找到一个凸函数来近似。

         强凸的函数性质如上，强凸意味着hessian矩阵严格正定。强凸对提高算法收敛速率又很大帮助

        条件数：存在hessian矩阵的函数，作奇异值分解，最大的奇异值除最小的奇异值就是条件数；可导但没有二阶信息的函数，通过利普希茨常数与强凸函数的常数的比值得到条件数；对于一般的不可微的函数，构造等高线，长轴与短轴之比为条件数；对于非光滑函数，采用次梯度。

        条件数决定了我们需不需要在优化算法中利用函数的高阶信息

        次梯度的反方向不一定是下降方向，次梯度集合中模长最短的次梯度的反方向是最快下降方向