【机器学习】琴生不等式（Jensen's inequality)

【机器学习】琴生不等式（Jensen’s inequality)：

凸/凹函数概述

“琴生不等式描述的是积分的凸/凹函数值和凸/凹函数的积分值间的关系。”

以上定义来自维基百科，虽然晦涩难懂，但是我们可以得出结论：在学习琴生不等式的时，必须要对与之相关凸/凹函数有一个大概的认识。

什么是凸/凹函数？

“凸函数是具有如下特性的一个定义在某个向量空间的凸子集$C$（区间）上的实值函数$f$：对其定义域$C$上的任意两点$x_1$, $x_2$，总有$f(\frac{x_1+x_2}{2})\le \frac{f(x_1)+f(x_2)}{2}$。”

“凹函数是具有如下特性的一个定义在某个向量空间的凹子集$C$（区间）上的实值函数$f$：对其定义域$C$上的任意两点$x_1$, $x_2$，总有$f(\frac{x_1+x_2}{2})\ge \frac{f(x_1)+f(x_2)}{2}$。”

以上定义依然来自维基百科，依然晦涩难懂，重要的是了解以下结论。

结论一：凸/凹函数的二阶导数恒大于/小于零

结论二：一个凸/凹函数上任意两点所作割线一定在这两点之间的函数图像的上/下方

琴生不等式概述

1、若$f(x)$是区间$(a,b)$上的凸函数，则对任意的$x_1,x_2,x_3,......,x_n\in (a,b)$，有不等式:
$$f(\frac{x_1+x_2+x_3+......+x_n}{n})\le \frac{f(x_1)+f(x_2)+f(x_3)+......+f(x_n)}{n}$$

有当且仅当$x_1=x_2=x_3=......=x_n$时等号成立。

2、若$f(x)$是区间$(a,b)$上的凹函数，则对任意的$x_1,x_2,x_{3,}......,x_n\in (a,b)$，有不等式:
$$f(\frac{x_1+x_2+x_3+......+x_n}{n})\ge \frac{f(x_1)+f(x_2)+f(x_3)+......+f(x_n)}{n}$$

有当且仅当$x_1=x_2=x_3=......=x_n$时等号成立。

3、若$f(x)$是区间$(a,b)$上的凸函数，则对任意的$x_1,x_2,x_3......,x_n\in (a,b)$，${\sum }_{i=1}^n{a}_n=1$，$a_1,a_2,a_3......a_n$为正数，则有：$${f(a}_1{x}_1+a_2{x}_2+a_3{x}_3+......+a_n{x}_n)\le f(a_1{x}_1)+f(a_2{x}_2)+f(a_3{x}_3)+......+f(a_n{x}_n)(\alpha )$$

4、若$f(x)$是区间$(a,b)$上的凹函数，则对任意的$x_1,x_2,x_3......,x_n\in (a,b)$，${\sum }_{i=1}^n{a}_n=1$，$a_1,a_2,a_3......a_n$为正数，则有：$${f(a}_1{x}_1+a_2{x}_2+a_3{x}_3+......+a_n{x}_n)\ge f(a_1{x}_1)+f(a_2{x}_2)+f(a_3{x}_3)+......+f(a_n{x}_n)(\beta )$$

琴生不等式在概率学中的应用

通过观察$(\alpha )$式左式${(a}_1{x}_1+a_2{x}_2+a_3{x}_3+......+a_n{x}_n)$，我们知道${\sum }_{i=1}^n{a}_n=1$。符合随机变量X的概率方程。因此该式所表达的正好是随机变量$X$的期望，$E(X)$。
我们重写$(\alpha )$式，其中$p$代表probability：

$${f(p}_1{x}_1+p_2{x}_2+p_3{x}_3+......+p_n{x}_n)\le f(p_1{x}_1)+f(p_2{x}_2)+f(p_3{x}_3)+......+f(p_n{x}_n)$$

左式$=f({\sum }_{i=1}^n{p}_n{x}_n)=f(E(X))$

右式$={\sum }_{i=1}^n{p}_{n}f(x_i)=E(f(X))$

综上且同理$(\beta )$，我们可以得出以下结论。

结论三：对于凸函数，随机变量$X\in [x_1,x_n]$，则在$[x_1,x_n]$区间内任意一点，$$f(E(x))\le E(f(x))$$

结论四：对于凹函数，随机变量$X\in [x_1,x_n]$，则在$[x_1,x_n]$区间内任意一点，$$f(E(x))\ge E(f(x))$$

琴生不等式的证明

我们可以用以下一般式来表达琴生不等式(以凸函数为例)：

$$f(\theta x_1+(1-\theta )x_2)\le \theta f(x_1)+(1-\theta )f(x_2);\theta \in [0,1]$$

则：
$$f(x_2-\theta (x_2-x_1))\le f(x_2)-\theta (f(x_2)-f(x_1));\theta \in [0,1]$$
等式两边都只与$\theta$有关，并且变化比例相同（下面给出证明）。

设$x^{\ast }=x_2-\theta \left(x_2-x_1\right),x^{\ast }\in [x_1,x_2]$

设$f(x{)}^{\ast }=f\left(x_2\right)-\theta (f\left(x_2\right)-f(x_1)),f(x{)}^{\ast }\in [f\left(x_1\right),f\left(x_2\right)]$

只需证明在下图中，$\frac{l_q}{l_p}=\frac{l_a}{l_b}$ 即可。
$$\frac{l_q}{l_p}=\frac{x_2-[x_2-\theta (x_2-x_1)]}{[x_2-\theta (x_2-x_1)]-x_1)}=\frac{\theta }{1-\theta }$$
$$\frac{l_a}{l_b}=\frac{f(x_2)-[f(x_2)-\theta (f(x_2)-f(x_1))]}{[f(x_2)-\theta (f(x_2)-f(x_1))]-f(x_1)}=\frac{\theta }{1-\theta }$$
证毕

上图所示，正是琴生不等式在凸函数上的证明：在随机变量$x^{\ast }\in [x_1,x_2]$的这个区间内任意一点向X轴引垂线，$f\left(x^{\ast }\right)\le f(x{)}^{\ast }$恒成立。

为什么非要强调是在同一条垂线上$f\left(x_{\ast }\right)\le f(x{)}^{\ast }$呢，因为如果无法证明是在同一垂线上满足$f\left(x^{\ast }\right)\le f(x{)}^{\ast }$， 那么琴生不等式的$\le$就不一定成立。

下面给出$f\left(x^{\ast }\right)$与$f(x{)}^{\ast }$在一条垂线上的证明，证明两点是在同一条垂线上（采用反证法）：
首先，过$f(x{)}^{\ast }$某点做一条X轴的平行线，交MN于点C，则得到$∆NC{D}^{\ast }\cong ∆NMF$，根据相似三角形定义，可得$\frac{a}{b}=\frac{NC}{CM}$；
其次，过$x^{\ast }$向Y轴作平行线，交MN于点O，则得到$∆MOE\cong ∆MNF$，相似三角形， 可证得， $\frac{q}{p}=\frac{NO}{OM}$。
接下， 只需要证明$\frac{l_q}{l_p}=\frac{l_a}{l_b}$即可， 在上一证明中，我们已经证得该结论，这里就不再做赘述。
综上所证： $\frac{NC}{CM}=\frac{NO}{OM}$，故点C于点O属于同一点。

注意 琴生不等式等号成立的条件：
只有当$x_1与x_2$重合，导致随机变量$x^{\ast }$变为一个定数，MN最终会成为凸函数上一个点，等号成立。