深度学习/机器学习入门基础数学知识整理（五）：Jensen不等式简单理解，共轭函数

Jensen不等式及其延伸

凸函数最基本的不等式性质，又称Jensen不等式[1]

f(θx+(1−θ)y)≤θ f(x)+(1−θ) f(y) f ( θ x + ( 1 − θ ) y ) ≤ θ   f ( x ) + ( 1 − θ )   f ( y )

通俗一点讲就是，期望的函数值小于等于函数值的期望。

许多著名的不等式都是由Jensen不等式在取特定的凸函数下延伸出来的，如均值不等式、Holder不等式（摘自convex optimization书）

共轭函数

定义：假设 f:Rn→R f : R n → R ， 函数 f f 的共轭函数 f:Rn→R f : R n → R 定义为

f∗(y)=supx∈dom f(yTx−f(x)) f ∗ ( y ) = sup x ∈ d o m   f ( y T x − f ( x ) )

显然，定义式的右端是关于y的仿射函数，对它们逐点求上确界(sup)，得到的函数 f∗(y) f ∗ ( y ) 一定是凸函数，因此共轭函数必为凸函数。注意： 这里其实并没有要求 f f 本身是凸函数。

共轭函数由来：凸函数的共轭函数的共轭函数是其本身。

对共轭函数的理解：如果函数 f f 可微，对于每一固定的 y y ，在满足 f'(x)=y f ′ ( x ) = y 的点 x x 处差值最大，如图

举例一些典型共轭函数（参考[2]，写的比较清楚了，就借用一下，推荐有兴趣的同学可以手推一下，基本思路就是先确定有效定义域，然后求导等于0求max的x取值，用y的函数表示，然后带回共轭函数的定义式子 yTx−f(x) y T x − f ( x ) ）：

共轭函数有一些性质，这里只举例2个最简单的：

参考资料

[1] http://olivernote.space/2017/02/10/convex-optimization2/
[2] Convex Optimization，Book