机器学习理论导引_第1章：预备知识_1.2

1.2 重要不等式

1.2.1 Jensen 不等式

对于任意凸函数  ，有下式成立

 · Proof：

· 应用及意义：

- 将  直接取为简单的凸函数或凹函数，可得到许多不等式.

- KL 散度的计算

1.2.2 Holder 不等式

∀,∈ℝ+,  1/+1/=1，有下式成立：

 · Proof：

· 应用及意义：

- 证明  范数三角不等式.

 1.2.3 Cauchy-Schwarz 不等式

当 ==2 时，Holder 不等式退化为 Cauchy-Schwarz 不等式，该不等式针对随机变量和向量有不同的形式：

· 应用及意义：

- 三角不等式是柯西不等式的直接推论.

1.2.4 Lyapunov 不等式

∀ 0 ≤  ≤ ，有

· 应用及意义：

- 反映了不同阶（绝对值）矩之间的不等式关系.

1.2.5 Minkowski不等式

∀  ≥ 1，有

1.2.6 Bhatia-Davis 不等式

对 ∈ [a,b]  ，有

 1.2.7 联合界不等式

- 对于全部事件的概率不大于单个事件的概率总和.

- 根据事件的个体概率提供了可计数事件中的至少一个事件的发生概率的上限.