Jensen‘s Inequality 的常用形式

若$f(x)$是区间$[a,b]$内的凸函数，则对$\forall x_1,x_2,\dots ,x_n\in [a,b]$，有下述不等式成立：

一、形式1：两点形式

$$\begin{array}{r}tf(x_1)+(1-t)f(x_2)\ge f(t{x}_1+(1-t)x_2),0\le t\le 1\end{array}$$
当且仅当$x_1=x_2$时等号成立。

二、形式2：等权重形式

$$\begin{array}{r}\frac{{\sum }_{i=1}^{n}f(x_i)}{n}\ge f(\frac{{\sum }_{i=1}^n{x}_i}{n})\end{array}$$

当且仅当$x_1=x_2=\cdots =x_n$时等号成立。

三、形式3：权重和为1的形式

若${\lambda }_i\ge 0$且${\sum }_i{\lambda }_i=1$成立，则有：

$$\begin{array}{r}\sum _{i=1}^n{\lambda }_{i}f(x_i)\ge f(\sum _{i=1}^n{\lambda }_i{x}_i)\end{array}$$
当且仅当$x_1=x_2=\cdots =x_n$时等号成立。

说明1： 形式3可针对形式1使用数学归纳法证得
说明2： 在概率论中，如果把${\lambda }_i$看成取值为$x_i$的离散变量 x 的概率分布，那么形式3就可以写成：
$$\begin{array}{r}f(E[X])\le E[f(X)]\end{array}$$
说明3： 在概率论中，对于连续变量，Jensen不等式也给出了积分的凸函数值和凸函数的积分值间的关系：
$$\begin{array}{r}f(\int xp(x)dx)\le \int f(X)p(x)dx\end{array}$$

四、形式4：权重和非1的形式

对任意的非负实数 ${\lambda }_i\ge 0$，都有：

$$\begin{array}{r}\frac{{\sum }_{i=1}^n{\lambda }_{i}f(x_i)}{{\sum }_{i=1}^n{\lambda }_i}\ge f(\frac{{\sum }_{i=1}^n{\lambda }_i{x}_i}{{\sum }_{i=1}^n{\lambda }_i})\end{array}$$
当且仅当$x_1=x_2=\cdots =x_n$时等号成立。

说明1： 其实，形式4可由形式3推得，具体证明方法也比较简单，详见如下：
$$\begin{array}{rl}\frac{{\sum }_{i=1}^n{\lambda }_{i}f(x_i)}{{\sum }_{i=1}^n{\lambda }_i}& =\sum _{i=1}^n(\frac{{\lambda }_i}{{\sum }_{i=1}^n{\lambda }_i})f(x_i)(\text{显然}\sum _{i=1}^n{\lambda }_i\text{为纯量})\\ & =\sum _{i=1}^n{\lambda }_i^{\prime }f(x_i)(\text{赋值满足形式3的新变量}{\lambda }_i^{\prime })\\ & =f(\sum _{i=1}^n{\lambda }_i^{\prime }{x}_i)(\text{由形式3得})\\ & =f(\sum _{i=1}^n\frac{{\lambda }_i}{{\sum }_{i=1}^n{\lambda }_i}{x}_i)\\ & =f(\frac{{\sum }_{i=1}^n{\lambda }_i{x}_i}{{\sum }_{i=1}^n{\lambda }_i})\end{array}$$

说明2： 当然，形式4也可用1-范数的形式简写：
$$\begin{array}{r}\frac{{\sum }_{i=1}^n{\lambda }_{i}f(x_i)}{\Vert \lambda {\Vert }_1}\ge f(\frac{{\sum }_{i=1}^n{\lambda }_i{x}_i}{\Vert \lambda {\Vert }_1})\end{array}$$
或写为下式。总之，见到不要眼生：
$$\begin{array}{r}\sum _{i=1}^n{\lambda }_{i}f(x_i)\ge f(\frac{{\sum }_{i=1}^n{\lambda }_i{x}_i}{\Vert \lambda {\Vert }_1})\Vert \lambda {\Vert }_1\end{array}$$

参考网址：

[1] 维基百科：Jensen’s inequality
[2] 知乎：Jensen不等式初步理解及证明