琴生(jensen)不等式

在Gan生成对抗神经网络中会用到Jensen不等式，因此做下记录。

Jensen不等式告诉我们：如果$f$是在区间$[a,b]$上的凸函数（就是导数一直增长的函数，或者说是导数的导数大于0的函数），$x$是随机变量，那么有：
$$E(f(x))\ge f(E(x))$$
也就是说函数$f$的期望大于等于期望的函数。

下面来看看怎么证明，我们假设$x_1,x_2，......x_n$都是区间$[a,b]$内的数，且$x_1\le x_2\le ，......\le x_n$，则上式可以写成下面这个形式：
$$a_{1}f\left(x_1\right)+a_{2}f\left(x_2\right)+\dots \dots +a_{n}f\left(x_n\right)\ge f\left(a_1{x}_1+a_2{x}_2+\dots \dots +a_n{x}_n\right)$$
其中
$$\sum _{i=1}^n{a}_i=1且a_i>0$$
当$n=1$时，式子显然成立。

当$n=2$时，可以构造一个式子如下：
$$F(x)=a_{1}f(x_1)+(1-a_1)f(x)-f(a_1{x}_1+(1-a_1)x)$$
显然
$$F(x_1)=a_{1}f(x_1)+(1-a_1)f(x_1)-f(a_1{x}_1+(1-a_1)x_1)=0$$

$$F^{{}^{\prime }}(x)=(1-a_1)f^{{}^{\prime }}(x)-f^{{}^{\prime }}[a_1{x}_1+(1-a_1)x](1-a_1)$$

$$=(1-a_1)(f^{{}^{\prime }}(x)-f^{{}^{\prime }}(a_1(x_1-x)+x)$$

由于是凸函数，当$x>x_1$的时候，$a_1(x_1-x)+x<x$， 故$F^{{}^{\prime }}(x)>0$

等式成立。

假设$n=k$的时候等式成立，即
$$a_{1}f\left(x_1\right)+a_{2}f\left(x_2\right)+\dots \dots +a_{k}f\left(x_k\right)\ge f\left(a_1{x}_1+a_2{x}_2+\dots \dots +a_k{x}_k\right)\sum _{i=1}^n{a}_i=1且a_i>0$$
那么当$n=k+1$时，有
$$a_{1}f\left(x_1\right)+a_{2}f\left(x_2\right)+\dots \dots +a_{k}f\left(x_k\right)+a_{k+1}f\left(x_{k+1}\right)$$

$$=\left(1-a_{k+1}\right)\frac{1}{\left(1-a_{k+1}\right)}\left[a_{1}f\left(x_1\right)+a_{2}f\left(x_2\right)+\dots \dots +a_{k}f\left(x_k\right)\right]+a_{k+1}f\left(x_{k+1}\right)$$

这里有
$$\frac{1}{\left(1-a_{k+1}\right)}\sum _{i=1}^n{a}_i=1$$
故上式
$$\ge \left(1-a_{k+1}\right)f\left(\frac{a_1{x}_1+\dots a_k{x}_k}{1-a_{k+1}}\right)+a_{k+1}f\left(x_{k+1}\right)$$
刚刚好满足$n=2$时的情况，有
$$\ge f\left(a_1{x}_1+a_2{x}_2+\dots \dots +a_k{x}_k+a_{k+1}{x}_{k+1}\right)$$
等式成立！而且从证明的过程我们也可以看出，等于号只有在$x_1,x_2，......x_n$都相等的情况下才能取得。