Jensen不等式简介

Jensen不等式在机器学习领域的应用广泛，下面我们来对它做一下总结。

我们知道，按照凸优化的定义，若f为凸函数有：

                                               

此处，。利用归纳法，我们可以很容易将其扩展到多维情况：

                                       

这里且。有趣的是，上式中如果k无限大，我们可以将上式转为积分形式：我们设函数p(x) >= 0，且，用p(x)代替，我们有：

                                                        

那么如果x是随机变量，p(x)是概率密度函数呢，上式就变成了。

参考文献：

[1] Convex Optimization