Jensen不等式

引言

 概率不等式是概率论和数理统计的理论研究中的重要工具，对于概率极限理论和统计大样本理论，几乎所有重要结果的论证是借助于概率不等式的巧妙应用，$\mathrm{J}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{e}\mathrm{n}$不等式和证明，并应用其带来解决一些相关问题。

$\mathrm{J}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{e}\mathrm{n}$不等式不同形式

 $\mathrm{J}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{e}\mathrm{n}$不等式的形式有很多种，标准形式的如下：

$\mathrm{J}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{e}\mathrm{n}$不等式： 如果$f(x)$为连续实值凸函数，且$x_1\le x_2\le \cdots \le x_n$，$\sum _{i=1}^n{\lambda }_i=1$，${\lambda }_i\ge 0$，$i=1,2\cdots ,n$，则有$$\sum _{i=1}^n{\lambda }_{i}f(x_i)\ge f(\sum _{i=1}^n{\lambda }_i{x}_i)$$如果$f(x)$为连续实值凹函数，则有$$\sum _{i=1}^n{\lambda }_{i}f(x_i)\le f(\sum _{i=1}^n{\lambda }_i{x}_i)$$

 在概率论中$\mathrm{J}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{e}\mathrm{n}$不等式有：离散型，连续型，条件期望型和中位数型等形式

$\mathrm{J}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{e}\mathrm{n}$不等式1： 设$f(x)$是区间$[a,b]$上的凸函数，$X$是取值于$[a,b]$上子集$A$的离散型随机变量，则有如下两个结论成立
（1）$\mathbb{E}(f(X))\ge f(\mathbb{E}(X))$;
（2）如果$f(X)$是严格凸的，则不等式中等号当且仅当$P(X=\mathbb{E}(X))=1$时成立。

证明：
（1）对$X$取值的个数进行数学归纳法证明，首先对于两点分布：$$X\sim \{p(x_1),p(x_2)\}$$简记$p_1=p(x_1)$，$p_2=p(x_2)$。注意到$p_1=1-p_2$，则有$$\mathbb{E}(f(X))=p_{1}f(x_1)+p_{2}f(x_2)\ge f(p_1{x}_1+p_2{x}_2)=f(\mathbb{E}(X))$$假设$X$的值域$A$中元素个数为$n-1(n\ge 2)$，$A=\{x_1,x_2,\cdots ,x_{n-1}\}$时，结论（1）式成立，则对$A$中元素个数为$n(n\ge 2)$，$A=(x_1,x_2,\cdots ,x_n)$时，简记$p_i=p(x_i)$，$p_i^{\prime }=\frac{p_i}{1-p_n},i=1,2,\cdots ,n$，则有$\{p_1^{\prime },p_2^{\prime },\cdots ,p_{n-1}^{\prime }\}$是一个概率分布，从而有$$\begin{array}{rl}\mathbb{E}(f(X))& =p_{1}f(x_1)+p_{2}f(x_2)+\cdots +p_{n}f(x_n)\\ & =(1-p_n)\sum _{i=1}^{n-1}{p}_i^{\prime }f(x_i)+p_{n}f(x_n)\\ & \ge (1-p_n)f(\sum _{i=1}^{n-1}{p}_i^{\prime }{x}_i)+p_{n}f(x_n)\\ & \ge f(\sum _{i=1}^n{p}_i{x}_i)=f(\mathbb{E}(X))\end{array}$$
（2）若$f(x)$是严格凸的，则总有$\mathbb{E}(f(x))\ge f(\mathbb{E}(X))$成立，除非当且仅当$P(X=\mathbb{E}(X))=1$时，$\mathbb{E}(f(X))=f(\mathbb{E}(X))$成立。

$\mathrm{J}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{e}\mathrm{n}$不等式2： 设$X$是$m$维随机向量，$f(x)$为定义在${\mathbb{R}}^m$上的凸函数$(m=1,2,\cdots )$，其中$\mathbb{E}(X)<\infty$，则有
（1）$\mathbb{E}(f(X))\ge f(\mathbb{E}(X))$;
（2）如果$f(X)$是严格凸的，则不等式中等号当且仅当$P(X=\mathbb{E}(X))=1$时成立。

证明：
（1）由于$y=f(x)$是${\mathbb{R}}^{m+1}$中的一个凸曲面，而点$(\mathbb{E}(X),f(\mathbb{E}(X)))$在次曲面上。存在一个过此点的平面，使得上述曲面全在此平面上的上方。若以$y=f(\mathbb{E}(X))+c^{\prime }(x-\mathbb{E}(X))$记此平面的方程，则有$$f(x)\ge f(\mathbb{E}(X))+c^{\prime }(x-\mathbb{E}(X))$$因而则有$$\mathbb{E}(f(X))\ge f(\mathbb{E}(X))+c^{\prime }\mathbb{E}(X-\mathbb{E}(X))=f(\mathbb{E}(X))$$
（2）若$f(x)$是严格凸的，则除非$x=\mathbb{E}(X)$，总有$f(x)>f(\mathbb{E}(X))$，总有$f(x)>f(\mathbb{E}(X))+c^{\prime }(x-\mathbb{E}(X))$成立，因而当且仅当$P(X=\mathbb{E}(X))=1$时$\mathbb{E}(f(X))=f(\mathbb{E}(X))$成立。

$\mathrm{J}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{e}\mathrm{n}$不等式3： 设$f(x)$是连续凸函数，$X$为关于$g$为$\sigma$可积的随机变量，则$f(X)$关于$g$的条件期望存在，且有$f(\mathbb{E}[X|g])\ge \mathbb{E}(f(X)|g)$几乎必然成立。

证明： 令$f^{\prime }(x)$为$f(x)$的右导数，则对任意实数$x$与$y$有$$f^{\prime }(x)(y-x)\ge f(y)-f(x)$$以$\mathbb{E}[X|g]$及$X$代替上式中的$x$与$y$得到$$f^{\prime }(\mathbb{E}[X|g])(X-\mathbb{E}[X|g])+f(\mathbb{E}[X|g])\le f(X)$$记上式左边的随机变量为$Y$，则$Y$关于$g$的条件期望存在，且$$\mathbb{E}[Y|g]=f(\mathbb{E}[X|g])$$将不等式两边同时取条件期望则有$$f(\mathbb{E}[X|g])\le \mathbb{E}[f(X)|g]$$几乎必然成立。