符号说明
矩阵
：矩阵的谱范数
: 矩阵的核范数
: 矩阵的F范数
表示矩阵的秩。
[Jensen’s inequality]
如果为凸函数，，那么：
实际上，上述为凸函数的定义，为比较一般的Jensen’s inequality。
如果为凸函数，，那么：
证：假设时，不等式是一定成立的，所以假设。
令,，根据凸函数的定义可得：
，所以，同样满足条件，所以通过数学归纳法即可证明上述等式。
如果在上，,且，则当相应的积分存在时：
试证（注意，是试证）：
令，且满足(这个性质至少在p(x)是连续函数的时候是能够满足的)，那么根据第二形态Jensen’s inequality可以得到:
令即可得积分形式不等式(当然，里面含有一个极限和函数互换的东西，因为凸函数一定是连续函数，所以这个是可以互换的，应该没弄错)。
如果是随机变量，事件发生的概率为1，函数为凸函数，且相应的期望存在时：
证：
令，随机变量的概率密度函数为,则，于是，根据积分形式的Jensen’s inequality即可得：
[Young's inequality]
Young's inequality-wiki
设且均为实数，满足：
若亦为实数，那么：
证1：
对于,有(因为为凹函数，而不等式右边是在点的切线)。令 ,可得：
令，代入即可得，另外的时候不等式必成立，结果得证。
证2：
考察平面上由方程所定义的曲线，它也可以表示为,作积分得：
显然：
只有当的时候，不等式才得以成立，证毕。
[Holder's inequality]
Holder's inequality-wiki
离散形式
设,且,,其中表示复数域，则：
注意，的矩阵可以看成是维的向量。
证：
令
则有,由杨不等式求和，得
即
所以得证。
另外需要一提的是，且右端俩式收敛，则这个式子也对于也可成立。
积分形式
设,且,，且均存在,则
证：
令
则有,并由杨不等式并积分可得：
即
证毕。
[trace-nuclear]
证明：
根据的对偶定义：
令代之，则
因为是任意的，所以不等式对任意的都成立（当然前提是能做矩阵的乘法）。
[算术-几何平均不等式]
如果，，那么
时，
证1：因为为定义在上的凸函数，根据[Jensen’s inequality]可得：
俩边取指数可得：
所以
证2：
根据[Young's inequality]可得：
令,，满足条件，所以：
[Gibb's inequality]
假设分别为一个概率分布, 那么有下列不等式成立:
等价于:
亦等价于:
当且仅当时等式成立.
这意味着是KL散度:
wiki
证1:
因为, 所以我们简单证明的不等式即可.
用表示的指示集，又, 故:
经过延拓, 则上式成立， 又的时候， 所以, 又因为, 所以, 所以, 故
证2:
因为严格凸，所以利用[Jensen' inequality]可以得到:
而根据[Jensen' inequality]等式成立的条件可以得到:
且所以时等式成立，的情况和上面一样讨论.
自然，该不等式可以推广到积分形式：
[Gronwall's inequality]
假设在上非负，单调递增, ,且非负, 满足:
则:
注意:
如果
并不能推出:
但是当的时候， 是有此类性质的(可用类似证1的方法证明).
证1:
记: , 则, , 可得:
即:
记, 则.
俩边同乘以，不改变符号:
俩边是同时在上积分得:
注意到(因为单增, 且积分内部为非负):
所以:
证毕.
证2(需非负):
则:
俩边在上积分:
注意，因为是单增的，所以时:
所以:
所以:
其中.
俩边令得:
证毕.
证3:
令,
则:
于是:
因为单增, 所以:
记, 可得:
于是:
注意到:
所以:
重复此类操作可得:
令:
证毕.
注:
最后这部分也可以利用:
来证明, 但是我觉得如果是俩边取极限，那就不必考虑得正负问题了，虽然多此一举，但是更酷啊.
[ inequality]
假设为实数，, 则
其中
证明:
: 考虑函数, 其导数为
则在上单调递减，由, 所以. 代入即得:
显然，时也成立.
: 考虑凸函数可得:
证毕.