凸优化(三)——凸函数

〇、说明

凸优化主要学习《凸优化》(Stephen Boyd等著，王书宁等译)[1]这本书。学习过程中，对其内容的理解时有困惑，也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了，成此系列笔记。

如有错误疏漏，烦请指出。如要转载，请联系笔者，[email protected]。

一、定义

图1[1]

直观的，图1是一维凸函数的示例。一维情况下，不严格的说，凸函数是弦在上的函数。

注意：在不同的教科书和资料中，对凸函数的定义有可能是相反的，在机器学习领域，一般都使用这个定义。

二、性质

2.1、一阶条件

2.2、二阶条件

2.3、下水平集

2.4、上境图

三、典型凸函数

A、线性函数和仿射函数

B、指数函数

C、负熵

D、范数

四、保凸运算

非负加权求和、复合仿射映射、逐点最大和逐点上确界、复合等。

五、Jensen不等式

Jensen不等式，又叫詹森不等式，以丹麦数学家约翰·詹森(Johan Jensen)命名。

5.1、常规形式

5.2、概率形式

5.3、推广

Jensen不等式用途非常广泛。凸性和Jensen不等式可以构成不等式理论的基础，很多著名的不等式都可以通过Jensen不等式应用于合适的凸函数得到[1]。

例如，算数-几何平均不等式可以由负对数函数利用Jensen不等式得到。

附录

A、参考

[1]、《凸优化》，Stephen Boyd等著，王书宁等译

B、相关目录

凸优化(一)——概述

凸优化(二)——凸集

凸优化(三)——凸函数

凸优化(四)——问题求解

凸优化(五)——回溯直线搜索

凸优化(六)——最速下降法

凸优化(七)——牛顿法

凸优化(八)——Lagrange对偶问题

C、时间线

2016-02-26 第一次发布

2016-08-07 修改文章名，重新整理完善