PRML书中公式（1.118）KL散度恒大于等于 0的推导

本文为博主“声时刻”原创文章，未经博主允许不得转载。
联系方式：[email protected]

PRML公式（1.118）是关于Kullback-Leibler散度恒大于等于 0
$$KL(p||q)=-\int p(x)ln\left\{\frac{q(x)}{p(x)}\right\}dx\ge -ln\int q(x)dx=0\text{\hspace{1em}(1.118)}$$
书上说可以用公式（1.117）得到（1.118）的结果。
$$f(\int xp(x)dx)\le \int f(x)p(x)dx\text{\hspace{1em}(1.117)}$$
我自己怎么推也推不过去。公式（1.116）看上去可以借鉴。
$$f(E[x])\le E[f(x)]\text{\hspace{1em}(1.116)}$$
如果把$f()$ 换成 $-ln()$ , 把 $x$ 换成 $\frac{q(x)}{p(x)}$ 好像可以得到（1.118）的结果。但积分中$dx$ 中的$x$ 怎样处理呢？

谷歌发现 More PRML Rrrata ，在第7页中给出了Jensen’s inequality in terms of random variables（含隐随机变量的Jensen不等式）。
$$f(E_z[\xi (z)])\le E_z[f(\xi (z))]\text{\hspace{1em}(21)}$$

(21) 比 (1.116)具有更广的通用性（giving a result slightly more general than (1.116)）。

把$f()$ 换成 $-ln()$ , 把 $\xi (z)$ 换成 $\frac{q(x)}{p(x)}$ 带入 (21) 就可以得到(1.118) 的结果。

$$\begin{gathered} E_x[f(\xi (x))]\ge f(E_x[\xi (x)]) \\ {E}_x[-ln(\frac{q(x)}{p(x)})]\ge -ln(E_x[\frac{q(x)}{p(x)}]) \\ -\int ln\left\{\frac{q(x)}{p(x)}\right\}p(x)dx\ge -ln\int \frac{q(x)}{p(x)}p(x)dx \\ -\int p(x)ln\left\{\frac{q(x)}{p(x)}\right\}dx\ge -ln\int q(x)dx=0 \\ KL(p||q)\ge 0\text{\hspace{1em}(A)} \end{gathered}$$

More PRML Rrrata 给出了图像方式的“证明”。

---