不等式

符号说明

矩阵
：矩阵的谱范数
: 矩阵的核范数
: 矩阵的F范数
表示矩阵的秩。

[Jensen’s inequality]

如果为凸函数，，那么：

实际上，上述为凸函数的定义，为比较一般的Jensen’s inequality。

如果为凸函数，，那么：

证：假设时，不等式是一定成立的，所以假设。
令,，根据凸函数的定义可得：

，所以，同样满足条件，所以通过数学归纳法即可证明上述等式。

如果在上，,且，则当相应的积分存在时：

试证（注意，是试证）：
令，且满足(这个性质至少在p(x)是连续函数的时候是能够满足的)，那么根据第二形态Jensen’s inequality可以得到:

令即可得积分形式不等式(当然，里面含有一个极限和函数互换的东西，因为凸函数一定是连续函数，所以这个是可以互换的，应该没弄错)。

如果是随机变量，事件发生的概率为1，函数为凸函数，且相应的期望存在时：

证：
令，随机变量的概率密度函数为,则，于是，根据积分形式的Jensen’s inequality即可得：

[Young's inequality]

Young's inequality-wiki

设且均为实数，满足：

若亦为实数，那么：

证1：

对于,有(因为为凹函数，而不等式右边是在点的切线)。令 ,可得：

令，代入即可得，另外的时候不等式必成立，结果得证。

证2：
考察平面上由方程所定义的曲线，它也可以表示为,作积分得：

显然：

只有当的时候，不等式才得以成立，证毕。

[Holder's inequality]

Holder's inequality-wiki

离散形式

设,且,,其中表示复数域，则：

注意，的矩阵可以看成是维的向量。

证：
令

则有,由杨不等式求和，得

即

所以得证。
另外需要一提的是，且右端俩式收敛，则这个式子也对于也可成立。

积分形式

设,且,，且均存在,则

证：
令

则有,并由杨不等式并积分可得：

即

证毕。

[trace-nuclear]

证明：
根据的对偶定义：

令代之，则

因为是任意的，所以不等式对任意的都成立（当然前提是能做矩阵的乘法）。

[算术-几何平均不等式]

如果，，那么

时，

证1：因为为定义在上的凸函数，根据[Jensen’s inequality]可得：

俩边取指数可得：

所以

证2：
根据[Young's inequality]可得：

令,，满足条件，所以：

[Gibb's inequality]

假设分别为一个概率分布, 那么有下列不等式成立:

等价于:

亦等价于:

当且仅当时等式成立.

这意味着是KL散度:

wiki

证1:

因为, 所以我们简单证明的不等式即可.
用表示的指示集，又, 故:

经过延拓, 则上式成立， 又的时候， 所以, 又因为, 所以, 所以, 故

证2:

因为严格凸，所以利用[Jensen' inequality]可以得到:

而根据[Jensen' inequality]等式成立的条件可以得到:

且所以时等式成立，的情况和上面一样讨论.

自然，该不等式可以推广到积分形式：

[Gronwall's inequality]

假设在上非负，单调递增, ,且非负, 满足:

则:

注意:
如果

并不能推出:

但是当的时候， 是有此类性质的(可用类似证1的方法证明).

证1:

记: , 则, , 可得:

即:

记, 则.
俩边同乘以，不改变符号:

俩边是同时在上积分得:

注意到(因为单增, 且积分内部为非负):

所以:

证毕.

证2(需非负):

则:

俩边在上积分:

注意，因为是单增的，所以时:

所以:

所以:

其中.
俩边令得:

证毕.

证3:

令,
则:

于是:

因为单增, 所以:

记, 可得:

于是:

注意到:

所以:

重复此类操作可得:

令:

证毕.
注:
最后这部分也可以利用:

来证明, 但是我觉得如果是俩边取极限，那就不必考虑得正负问题了，虽然多此一举，但是更酷啊.

[ inequality]

假设为实数，, 则

其中

证明:

: 考虑函数, 其导数为

则在上单调递减，由, 所以. 代入即得:

显然，时也成立.

: 考虑凸函数可得:

证毕.