凸函数

凸函数

一.基本性质和例子

1.定义

• 定义一：函数f:是凸的，如果是凸集，且对于任意的和任意的0，有。
• 定义二：函数f是凸函数，当且仅当与其定义域相交的任意函数都是凸函数。或者说，函数f是凸函数，当且仅当对于任意的和任意向量,函数是凸函数（其定义域为）
• 几何意义：上述不等式意味着的线段，即从x到y的弦在图像上方。
• 严格凸：当且时，有总成立。
• 函数f是凸函数，当-f是凹函数；f是凹函数，当-f是凸函数。

2.拓展值延伸

• 定义：

  image.png

• 扩展值延伸的意义：将在函数定义域外的值定义为无穷大，将函数延伸至全空间上，这种延伸可以简化符号表示，且延伸后凸性不变。对于延伸函数，可以描述为：

  对任意的及有。（当时，总成立）

  • 当时，,因为为凸函数，上述不等式成立。
  • 如果任一个在外，不等式右面为正无穷，左面在

• 例子：

  • 凸集的示性函数，设是一个凸集，考虑凸函数，其定义域为C,对于所有,有，换言之，此函数在集合C上一直为零。其扩展延伸可以描述如下。凸函数被称为集合C的示性函数。利用示性函数我们更加灵活的定义符号描述：例如求在C上的极小值，可以描述为求极小化
  • 延伸函数一定要扩展到无穷，不然无法保持凸性。

3.一阶条件

• 一阶条件：假设f可微（即其梯度在开集内处处存在），则函数是凸函数的充分必要条件是是凸集且对于任意的，下式成立。

• 几何意义：

  • 快照57.png

  • 是仿射函数y即为函数在点附近的Taylor近似，在这里Taylor近似其实是原函数的一个全局下估计

  • 极值点：如果，那么对于所有的，存在，所以x是全局最小点

  • 严格凸：函数f严格凸的充分必要条件是

• 证明：一阶条件是指在任意维凸集中均成立

  • 我们首先在证明在一维的情况下成立:即可微函数是凸函数的充分必要条件是

    • 必要性：

      首先假设f是凸函数，由凸函数的定义我们可以得到是一个凸集

      假设，则对于任意的，有，

      由凸函数的定义一可得

      上式两端同除以t得

      因为f是可微函数，所以令，可得到。

      (当t=0时显然成立。)

    • 充分性

      假设内的任意x,y在定义域中，满足

      假设，由上述不等式可得：

      将第一个不等式同乘,第二个不等式同乘，并将二者相加可得：

      得证

  • 下边利用定义二由一维推理一般情况：

    对于高维空间的函数f:,假设，构造一个一维的函数，

    此函数的导数为。

    • 首先假设f是凸函数，证明

      因为f是凸函数，由定义二可得g是凸函数。

      由g是一个一维空间的凸函数，由第一步证明可得对于任意的，可得:

      ,

      取,带入，化简

      。

      得证

    • 其次，假设若对于任意的,有则f是一个凸函数

      因为是一个凸集，

      所以对于任意的,有，

      所以有

      化简得。

4.二阶条件

• 定义：若函数二阶可微，则f为凸函数的充分必要条件是：

  1. 为凸集
  2. ，对于任意的

• 几何意义，二阶导数大于零，曲率为正，一阶导数为增函数。为了更好理解，可以局限在一维情况下，参照一下数学分析。

• 证明：

  书上说让自己证明哦！

  显然可得。

• 严格凸：对于任意的,若，则函数f是严格凸函数。

  ​ 若函数f是严格凸函数，那么对于任意的，未必成立。

  ​ 也就是说大于零是严格凸的充分不必要条件。

  • 例如：函数，二阶可导，,然而从图像可知此函数还是一个严格凸函数。

• 例题:特殊情况：二次函数严格凸的充分必要条件是

快照58.png

• 注：关于Hessian矩阵：联想一下二次型就可以理解了，特征值，特征向量。

5.例子

• 快照69.png

补充：

• 范数定义：的范数满足
  3. 若，则
• 零范数：，不是一个凸函数。它也不满足范数定义。

二.保凸运算

1.非负加权和

• 非负加权和：凸函数集合本身是一个凸锥：凸函数的非负加权和任然是凸函数。若为凸为凸，则为凸函数。其中

  证明：首先为所有定义域的交集，所以定义域为凸集。其次，显然。

• 非负加权和拓展: 若对任意固定的均为关于凸函数，设,那么

  为关于x的凸函数。

2.复合仿射映射

• 定义:假设函数，以及，定义为，其中。若函数f是凸函数，那么g是凸函数；如果函数f是凹函数，那么函数g是凹函数。

  • 证明：

    1.证明是一个凸集

    对于任意的,,

    已知是一个凸集且

    由凸集的定义可得

    所以

    2.证明：是凸函数。

    因为是凸函数，那么可得

    得证，所以复合仿射映射是一个凸函数。

3.逐点最大和逐点上确界

• 逐点最大和

  • 定义：如果函数和均为凸函数，则二者的逐点最大函数,,定义域是，仍然是个凸函数。

  • 证明：任取0以及，有

    

  • 例题：

  • 推广：如果函数是凸函数，那么他们的逐点最大和也是凸函数。

• 最大的r个分量之和：

  • 定义：对任意，用表示中第i大的分量，即将中分量按照非降序排列得到下式：，对x中前r个大的分量进行求和得到是一个凸函数。

    此函数可以描述为

  • 理解：即从中随机选择r个元素求和可能组合中的最大值，这种取法共有可能。将每一种可能看做一个函数，那个最大的r个分量之和相当于对这逐点求和。而随机取值求和函数又是关于的仿射映射，一定是一个凸函数，所以最大的r个分量之和也是凸函数。

  • 推广：，也是一个凸函数

  • 推广：无限个凸函数的逐点上确界：如果对任意的，函数关于是凸的，则函数也是凸的，定义域为

• 实对称阵的最大特征值：

  ,是特征向量，

  当

  由上述定理可知若对于每一个y,，那么是一个凸函数。

三.共轭函数

四.拟凸函数

五.对数-凹函数 和 对数-凸函数

六.关于广义不等式的凸性