9.2 向量范数的三大不等式

  我这里要讲的三大不等式不是三种范数比较大小的三大不等式。而是非常经典的，学习线性代数必须掌握的三大不等式：柯西-施瓦茨不等式、赫尔德不等式和闵可夫斯基不等式。
  我先讲讲这三大不等式的关系，首先是根据几何空间（定义了标准内积的欧几里得空间）里的夹角，有了柯西-施瓦茨不等式。然后由柯西-施瓦茨不等式推广到更一般的场景，就成了赫尔德不等式，也就是说柯西-施瓦茨不等式是赫尔德不等式在 $p=2$时的特殊场景。那么由赫尔德不等式，可以推导出闵可夫斯基不等式，闵可夫斯基不等式就是除了1-范数，以外的p-范数符合三角不等式定义的证明。

柯西-施瓦茨不等式

  柯西-施瓦茨不等式，非常常见了。它的内容是：
$$|(x,y)|\le |x||y|$$
  公式里的x和y都是向量，两条竖线是向量在内积下的模长，如果取标准内积模长就可以换成2-范数。但是如果不是标准内积，则后面是对应内积的模长。本文不讨论一般内积，所以直接用标准内积，只能在实数域，那么就可以特化为：
$$\sum _{i=1}^n{x}_i{y}_i\le \sqrt{\sum _{i=1}^n{x}_i^2}\sqrt{\sum _{i=1}^n{y}_i^2}$$

赫尔德不等式

  赫尔德不等式，英文为Hölder’s inequality，它的内容如下：
$$\sum _{i=1}^n|x_i{y}_i|\le \parallel x{\parallel }_p\parallel y{\parallel }_q,\frac{1}{p}+\frac{1}{q}=1$$
  展开来就是:
$$\sum _{i=1}^n|x_i{y}_i|\le (\sum _{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}(\sum _{i=1}^n|y_i{|}^q{)}^{\frac{1}{q}},\frac{1}{p}+\frac{1}{q}=1$$
  $p=2$时，$q=2$,整个不等式就变成了柯西-施瓦茨不等式。

闵可夫斯基不等式

  p范数的不等式就是闵可夫斯基不等式，英文为Minkowski’s inequality，也就是：
$$\parallel x+y{\parallel }_p\le \parallel x{\parallel }_p+\parallel y{\parallel }_p$$
  展开就是
$$(\sum _{i=1}^n{|x_i+y_i|}^p{)}^{\frac{1}{p}}\le (\sum _{i=1}^n{|x_i|}^p{)}^{\frac{1}{p}}+(\sum _{i=1}^n{|y_i|}^p{)}^{\frac{1}{p}}$$
  这也是p-范数定义里的三角不等式要求。闵可夫斯基不等式是由赫尔德不等式推出来的。我讲讲这个推导过程。首先讲清楚，是在复数域$C$上，竖线代表模长。
  首先有复数模长的三角不等式，也就是1-范数的三角不等式，这个就无需证明了。
$$|a+b|\le |a|+|b|$$
  两边同时乘以$|a+b{|}^{p-1}$，得到：
$$\begin{gathered} |a+b||a+b{|}^{p-1}\le (|a|+|b|)|a+b{|}^{p-1} \\ \Rightarrow |a+b||a+b{|}^{p-1}\le |a||a+b{|}^{p-1}+|b||a+b{|}^{p-1} \end{gathered}$$
  上式里的ab是向量的一个分量，现在把它扩展到整个向量，应用赫尔德不等式，进行变量替换：
$$\begin{gathered} x_i=|a_i| \\ {y}_i=|a_i+b_i{|}^{p-1} \\ \frac{1}{p}+\frac{1}{q}=1 \\ \Rightarrow \sum _{i=1}^n||a_i||a_i+b_i{|}^{p-1}|\le (\sum _{i=1}^n||a_i|{|}^p{)}^{\frac{1}{p}}(\sum _{i=1}^n||a_i+b_i{|}^{p-1}{|}^q{)}^{\frac{1}{q}} \end{gathered}$$
  因为正整数的模长的模长就是本身，所以省略一些模长符号,得到：
$$\begin{gathered} \Rightarrow \sum _{i=1}^n|a_i||a_i+b_i{|}^{p-1}\le (\sum _{i=1}^n|a_i{|}^p{)}^{\frac{1}{p}}(\sum _{i=1}^n(|a_i+b_i{|}^{p-1}{)}^q{)}^{\frac{1}{q}} \\ \Rightarrow \sum _{i=1}^n|a_i||a_i+b_i{|}^{p-1}\le (\sum _{i=1}^n|a_i{|}^p{)}^{\frac{1}{p}}(\sum _{i=1}^n|a_i+b_i{|}^{(p-1)q}{)}^{\frac{1}{q}} \end{gathered}$$
  再把另一个代入：
$$\begin{gathered} x_i=|b_i| \\ {y}_i=|a_i+b_i{|}^{p-1} \\ \frac{1}{p}+\frac{1}{q}=1 \\ \Rightarrow \sum _{i=1}^n|b_i||a_i+b_i{|}^{p-1}\le (\sum _{i=1}^n|b_i{|}^p{)}^{\frac{1}{p}}(\sum _{i=1}^n|a_i+b_i{|}^{(p-1)q}{)}^{\frac{1}{q}} \end{gathered}$$
  两个公式加起来：
$$\begin{gathered} \sum _{i=1}^n|a_i||a_i+b_i{|}^{p-1}+\sum _{i=1}^n|b_i||a_i+b_i{|}^{p-1}\le \\ (\sum _{i=1}^n|a_i{|}^p{)}^{\frac{1}{p}}(\sum _{i=1}^n|a_i+b_i{|}^{(p-1)q}{)}^{\frac{1}{q}}+(\sum _{i=1}^n|b_i{|}^p{)}^{\frac{1}{p}}(\sum _{i=1}^n|a_i+b_i{|}^{(p-1)q}{)}^{\frac{1}{q}} \end{gathered}$$
  右边合并一下：
$$\begin{gathered} \sum _{i=1}^n|a_i||a_i+b_i{|}^{p-1}+\sum _{i=1}^n|b_i||a_i+b_i{|}^{p-1}\le \\ ((\sum _{i=1}^n|a_i{|}^p{)}^{\frac{1}{p}}+(\sum _{i=1}^n|b_i{|}^p{)}^{\frac{1}{p}})(\sum _{i=1}^n|a_i+b_i{|}^{(p-1)q}{)}^{\frac{1}{q}} \end{gathered}$$
  左边也合并一下：
$$\begin{gathered} \sum _{i=1}^n(|a_i|+|b_i|)|a_i+b_i{|}^{p-1}\le \\ ((\sum _{i=1}^n|a_i{|}^p{)}^{\frac{1}{p}}+(\sum _{i=1}^n|b_i{|}^p{)}^{\frac{1}{p}})(\sum _{i=1}^n|a_i+b_i{|}^{(p-1)q}{)}^{\frac{1}{q}} \\ \Rightarrow \sum _{i=1}^n|a_i+b_i{|}^p\le [(\sum _{i=1}^n|a_i{|}^p{)}^{\frac{1}{p}}+(\sum _{i=1}^n|b_i{|}^p{)}^{\frac{1}{p}}](\sum _{i=1}^n|a_i+b_i{|}^{(p-1)q}{)}^{\frac{1}{q}} \end{gathered}$$
  再处理一下$(p-1)q$:
$$\begin{gathered} \frac{1}{p}+\frac{1}{q}=1 \\ \Rightarrow \frac{1}{q}=1-\frac{1}{p} \\ \Rightarrow \frac{1}{q}=\frac{p-1}{p} \\ \Rightarrow (p-1)q=p \end{gathered}$$
  代入，替换：
$$\begin{gathered} \sum _{i=1}^n(|a_i|+|b_i|)|a_i+b_i{|}^{p-1}\le \\ [(\sum _{i=1}^n|a_i{|}^p{)}^{\frac{1}{p}}+(\sum _{i=1}^n|b_i{|}^p{)}^{\frac{1}{p}}](\sum _{i=1}^n|a_i+b_i{|}^p{)}^{\frac{1}{q}} \end{gathered}$$
  发现两边都有${\sum }_{i=1}^n|a_i+b_i{|}^p$,于是对左边进行改造，运用三角不等式：
$$|a+b||a+b{|}^{p-1}\le (|a|+|b|)|a+b{|}^{p-1}$$
  在三角不等式外面加求和符号，得到：
$$\begin{gathered} \sum _{i=1}^n|a_i+b_i||a_i+b_i{|}^{p-1}\le \sum _{i=1}^n(|a_i|+|b_i|)|a_i+b_i{|}^{p-1} \\ \Rightarrow \sum _{i=1}^n|a_i+b_i{|}^p\le \sum _{i=1}^n(|a_i|+|b_i|)|a_i+b_i{|}^{p-1} \\ \Rightarrow (\sum _{i=1}^n|a_i+b_i{|}^p{)}^1\le \sum _{i=1}^n(|a_i|+|b_i|)|a_i+b_i{|}^{p-1} \\ \Rightarrow (\sum _{i=1}^n|a_i+b_i{|}^p{)}^{\frac{1}{p}+\frac{1}{q}}\le \sum _{i=1}^n(|a_i|+|b_i|)|a_i+b_i{|}^{p-1} \end{gathered}$$
  把三个式子连起来，得到：
$$\begin{gathered} (\sum _{i=1}^n|a_i+b_i{|}^p{)}^{\frac{1}{p}+\frac{1}{q}} \\ \le \sum _{i=1}^n(|a_i|+|b_i|)|a_i+b_i{|}^{p-1} \\ \le ((\sum _{i=1}^n|a_i{|}^p{)}^{\frac{1}{p}}+(\sum _{i=1}^n|b_i{|}^p{)}^{\frac{1}{p}})(\sum _{i=1}^n|a_i+b_i{|}^p{)}^{\frac{1}{q}} \end{gathered}$$
  根据不等式的传递性，去掉中间的，然后得到：
$$\begin{gathered} (\sum _{i=1}^n|a_i+b_i{|}^p{)}^{\frac{1}{p}+\frac{1}{q}} \\ \le ((\sum _{i=1}^n|a_i{|}^p{)}^{\frac{1}{p}}+(\sum _{i=1}^n|b_i{|}^p{)}^{\frac{1}{p}})(\sum _{i=1}^n|a_i+b_i{|}^p{)}^{\frac{1}{q}} \end{gathered}$$
  所以两边都可以除于$({\sum }_{i=1}^n|a_i+b_i{|}^p{)}^{\frac{1}{q}}$，得到：
$$(\sum _{i=1}^n|a_i+b_i{|}^p{)}^{\frac{1}{p}}\le (\sum _{i=1}^n|a_i{|}^p{)}^{\frac{1}{p}}+(\sum _{i=1}^n|b_i{|}^p{)}^{\frac{1}{p}}$$
  这就是闵可夫斯基不等式。证明完毕Q.A.D。