9.2 向量范数的三大不等式

文章目录

  • 柯西-施瓦茨不等式
  • 赫尔德不等式
  • 闵可夫斯基不等式

  我这里要讲的三大不等式不是三种范数比较大小的三大不等式。而是非常经典的,学习线性代数必须掌握的三大不等式:柯西-施瓦茨不等式、赫尔德不等式和闵可夫斯基不等式。
  我先讲讲这三大不等式的关系,首先是根据几何空间(定义了标准内积的欧几里得空间)里的夹角,有了柯西-施瓦茨不等式。然后由柯西-施瓦茨不等式推广到更一般的场景,就成了赫尔德不等式,也就是说柯西-施瓦茨不等式是赫尔德不等式在 p = 2 p=2 p=2时的特殊场景。那么由赫尔德不等式,可以推导出闵可夫斯基不等式,闵可夫斯基不等式就是除了1-范数,以外的p-范数符合三角不等式定义的证明。

柯西-施瓦茨不等式

  柯西-施瓦茨不等式,非常常见了。它的内容是:
∣ ( x , y ) ∣ ≤ ∣ x ∣ ∣ y ∣ |(x,y)|\le|x| |y| (x,y)x∣∣y
  公式里的x和y都是向量,两条竖线是向量在内积下的模长,如果取标准内积模长就可以换成2-范数。但是如果不是标准内积,则后面是对应内积的模长。本文不讨论一般内积,所以直接用标准内积,只能在实数域,那么就可以特化为:
∑ i = 1 n x i y i ≤ ∑ i = 1 n x i 2 ∑ i = 1 n y i 2 \sum_{i=1}^n{x_i}{y_i} \le \sqrt{\sum_{i=1}^n{x_i^2}}\sqrt{\sum_{i=1}^n{y_i^2}} i=1nxiyii=1nxi2 i=1nyi2

赫尔德不等式

  赫尔德不等式,英文为Hölder’s inequality,它的内容如下:
∑ i = 1 n ∣ x i y i ∣ ≤ ∥ x ∥ p ∥ y ∥ q , 1 p + 1 q = 1 \sum_{i=1}^{n}|x_iy_i|\le \parallel x\parallel_p\parallel y\parallel_q,\frac1p+\frac1q=1 i=1nxiyi≤∥xpyq,p1+q1=1
  展开来就是:
∑ i = 1 n ∣ x i y i ∣ ≤ ( ∑ i = 1 n ∣ x i ∣ p ) 1 p ( ∑ i = 1 n ∣ y i ∣ q ) 1 q , 1 p + 1 q = 1 \sum_{i=1}^{n}|x_iy_i|\le (\sum_{i=1}^{n}{|x_i|^p})^\frac1p( \sum_{i=1}^{n}{|y_i|^q})^\frac1q,\frac1p+\frac1q=1 i=1nxiyi(i=1nxip)p1(i=1nyiq)q1,p1+q1=1
   p = 2 p=2 p=2时, q = 2 q=2 q=2,整个不等式就变成了柯西-施瓦茨不等式。

闵可夫斯基不等式

  p范数的不等式就是闵可夫斯基不等式,英文为Minkowski’s inequality,也就是:
∥ x + y ∥ p ≤ ∥ x ∥ p + ∥ y ∥ p \parallel x+y\parallel_p \le \parallel x\parallel_p+\parallel y\parallel_p x+yp≤∥xp+yp
  展开就是
( ∑ i = 1 n ∣ x i + y i ∣ p ) 1 p ≤ ( ∑ i = 1 n ∣ x i ∣ p ) 1 p + ( ∑ i = 1 n ∣ y i ∣ p ) 1 p (\sum_{i=1}^{n}{|x_i+y_i|}^p)^\frac1p \le (\sum_{i=1}^{n}{|x_i|}^p)^\frac1p+ (\sum_{i=1}^{n}{|y_i|}^p)^\frac1p (i=1nxi+yip)p1(i=1nxip)p1+(i=1nyip)p1
  这也是p-范数定义里的三角不等式要求。闵可夫斯基不等式是由赫尔德不等式推出来的。我讲讲这个推导过程。首先讲清楚,是在复数域 C C C上,竖线代表模长。
  首先有复数模长的三角不等式,也就是1-范数的三角不等式,这个就无需证明了。
∣ a + b ∣ ≤ ∣ a ∣ + ∣ b ∣ |a+b|\le |a|+|b| a+ba+b
  两边同时乘以 ∣ a + b ∣ p − 1 |a+b|^{p-1} a+bp1,得到:
∣ a + b ∣ ∣ a + b ∣ p − 1 ≤ ( ∣ a ∣ + ∣ b ∣ ) ∣ a + b ∣ p − 1 ⇒ ∣ a + b ∣ ∣ a + b ∣ p − 1 ≤ ∣ a ∣ ∣ a + b ∣ p − 1 + ∣ b ∣ ∣ a + b ∣ p − 1 |a+b||a+b|^{p-1}\le (|a|+|b|)|a+b|^{p-1}\\ \Rightarrow |a+b||a+b|^{p-1}\le |a||a+b|^{p-1}+ |b||a+b|^{p-1}\\ a+b∣∣a+bp1(a+b)a+bp1a+b∣∣a+bp1a∣∣a+bp1+b∣∣a+bp1
  上式里的ab是向量的一个分量,现在把它扩展到整个向量,应用赫尔德不等式,进行变量替换:
x i = ∣ a i ∣ y i = ∣ a i + b i ∣ p − 1 1 p + 1 q = 1 ⇒ ∑ i = 1 n ∣ ∣ a i ∣ ∣ a i + b i ∣ p − 1 ∣ ≤ ( ∑ i = 1 n ∣ ∣ a i ∣ ∣ p ) 1 p ( ∑ i = 1 n ∣ ∣ a i + b i ∣ p − 1 ∣ q ) 1 q x_i=|a_i|\\ y_i=|a_i+b_i|^{p-1}\\ \frac1p+\frac1q=1\\ \Rightarrow \sum_{i=1}^{n}||a_i||a_i+b_i|^{p-1}|\le (\sum_{i=1}^{n}{||a_i||^p})^\frac1p( \sum_{i=1}^{n}{||a_i+b_i|^{p-1}|^q})^\frac1q xi=aiyi=ai+bip1p1+q1=1i=1n∣∣ai∣∣ai+bip1(i=1n∣∣aip)p1(i=1n∣∣ai+bip1q)q1
  因为正整数的模长的模长就是本身,所以省略一些模长符号,得到:
⇒ ∑ i = 1 n ∣ a i ∣ ∣ a i + b i ∣ p − 1 ≤ ( ∑ i = 1 n ∣ a i ∣ p ) 1 p ( ∑ i = 1 n ( ∣ a i + b i ∣ p − 1 ) q ) 1 q ⇒ ∑ i = 1 n ∣ a i ∣ ∣ a i + b i ∣ p − 1 ≤ ( ∑ i = 1 n ∣ a i ∣ p ) 1 p ( ∑ i = 1 n ∣ a i + b i ∣ ( p − 1 ) q ) 1 q \Rightarrow \sum_{i=1}^{n}|a_i||a_i+b_i|^{p-1}\le (\sum_{i=1}^{n}{|a_i|^p})^\frac1p( \sum_{i=1}^{n}{(|a_i+b_i|^{p-1})^q})^\frac1q\\ \Rightarrow \sum_{i=1}^{n}|a_i||a_i+b_i|^{p-1}\le (\sum_{i=1}^{n}{|a_i|^p})^\frac1p( \sum_{i=1}^{n}{|a_i+b_i|^{(p-1)q}})^\frac1q i=1nai∣∣ai+bip1(i=1naip)p1(i=1n(ai+bip1)q)q1i=1nai∣∣ai+bip1(i=1naip)p1(i=1nai+bi(p1)q)q1
  再把另一个代入:
x i = ∣ b i ∣ y i = ∣ a i + b i ∣ p − 1 1 p + 1 q = 1 ⇒ ∑ i = 1 n ∣ b i ∣ ∣ a i + b i ∣ p − 1 ≤ ( ∑ i = 1 n ∣ b i ∣ p ) 1 p ( ∑ i = 1 n ∣ a i + b i ∣ ( p − 1 ) q ) 1 q x_i=|b_i|\\ y_i=|a_i+b_i|^{p-1}\\ \frac1p+\frac1q=1\\ \Rightarrow \sum_{i=1}^{n}|b_i||a_i+b_i|^{p-1}\le (\sum_{i=1}^{n}{|b_i|^p})^\frac1p( \sum_{i=1}^{n}{|a_i+b_i|^{(p-1)q}})^\frac1q xi=biyi=ai+bip1p1+q1=1i=1nbi∣∣ai+bip1(i=1nbip)p1(i=1nai+bi(p1)q)q1
  两个公式加起来:
∑ i = 1 n ∣ a i ∣ ∣ a i + b i ∣ p − 1 + ∑ i = 1 n ∣ b i ∣ ∣ a i + b i ∣ p − 1 ≤ ( ∑ i = 1 n ∣ a i ∣ p ) 1 p ( ∑ i = 1 n ∣ a i + b i ∣ ( p − 1 ) q ) 1 q + ( ∑ i = 1 n ∣ b i ∣ p ) 1 p ( ∑ i = 1 n ∣ a i + b i ∣ ( p − 1 ) q ) 1 q \sum_{i=1}^{n}|a_i||a_i+b_i|^{p-1} + \sum_{i=1}^{n}|b_i||a_i+b_i|^{p-1} \le\\ (\sum_{i=1}^{n}{|a_i|^p})^\frac1p( \sum_{i=1}^{n}{|a_i+b_i|^{(p-1)q}})^\frac1q + (\sum_{i=1}^{n}{|b_i|^p})^\frac1p( \sum_{i=1}^{n}{|a_i+b_i|^{(p-1)q}})^\frac1q\\ i=1nai∣∣ai+bip1+i=1nbi∣∣ai+bip1(i=1naip)p1(i=1nai+bi(p1)q)q1+(i=1nbip)p1(i=1nai+bi(p1)q)q1
  右边合并一下:
∑ i = 1 n ∣ a i ∣ ∣ a i + b i ∣ p − 1 + ∑ i = 1 n ∣ b i ∣ ∣ a i + b i ∣ p − 1 ≤ ( ( ∑ i = 1 n ∣ a i ∣ p ) 1 p + ( ∑ i = 1 n ∣ b i ∣ p ) 1 p ) ( ∑ i = 1 n ∣ a i + b i ∣ ( p − 1 ) q ) 1 q \sum_{i=1}^{n}|a_i||a_i+b_i|^{p-1} + \sum_{i=1}^{n}|b_i||a_i+b_i|^{p-1} \le\\( (\sum_{i=1}^{n}{|a_i|^p})^\frac1p+(\sum_{i=1}^{n}{|b_i|^p})^\frac1p)( \sum_{i=1}^{n}{|a_i+b_i|^{(p-1)q}})^\frac1q \\ i=1nai∣∣ai+bip1+i=1nbi∣∣ai+bip1((i=1naip)p1+(i=1nbip)p1)(i=1nai+bi(p1)q)q1
  左边也合并一下:
∑ i = 1 n ( ∣ a i ∣ + ∣ b i ∣ ) ∣ a i + b i ∣ p − 1 ≤ ( ( ∑ i = 1 n ∣ a i ∣ p ) 1 p + ( ∑ i = 1 n ∣ b i ∣ p ) 1 p ) ( ∑ i = 1 n ∣ a i + b i ∣ ( p − 1 ) q ) 1 q ⇒ ∑ i = 1 n ∣ a i + b i ∣ p ≤ [ ( ∑ i = 1 n ∣ a i ∣ p ) 1 p + ( ∑ i = 1 n ∣ b i ∣ p ) 1 p ] ( ∑ i = 1 n ∣ a i + b i ∣ ( p − 1 ) q ) 1 q \sum_{i=1}^{n}(|a_i|+|b_i|)|a_i+b_i|^{p-1} \le\\( (\sum_{i=1}^{n}{|a_i|^p})^\frac1p+(\sum_{i=1}^{n}{|b_i|^p})^\frac1p)( \sum_{i=1}^{n}{|a_i+b_i|^{(p-1)q}})^\frac1q \\ \Rightarrow \sum_{i=1}^{n}|a_i+b_i|^{p} \le[ (\sum_{i=1}^{n}{|a_i|^p})^\frac1p+(\sum_{i=1}^{n}{|b_i|^p})^\frac1p]( \sum_{i=1}^{n}{|a_i+b_i|^{(p-1)q}})^\frac1q i=1n(ai+bi)ai+bip1((i=1naip)p1+(i=1nbip)p1)(i=1nai+bi(p1)q)q1i=1nai+bip[(i=1naip)p1+(i=1nbip)p1](i=1nai+bi(p1)q)q1
  再处理一下 ( p − 1 ) q (p-1)q (p1)q:
1 p + 1 q = 1 ⇒ 1 q = 1 − 1 p ⇒ 1 q = p − 1 p ⇒ ( p − 1 ) q = p \frac1p+\frac1q=1\\ \Rightarrow \frac1q=1-\frac1p\\ \Rightarrow \frac1q=\frac{p-1}{p}\\ \Rightarrow (p-1)q=p p1+q1=1q1=1p1q1=pp1(p1)q=p
  代入,替换:
∑ i = 1 n ( ∣ a i ∣ + ∣ b i ∣ ) ∣ a i + b i ∣ p − 1 ≤ [ ( ∑ i = 1 n ∣ a i ∣ p ) 1 p + ( ∑ i = 1 n ∣ b i ∣ p ) 1 p ] ( ∑ i = 1 n ∣ a i + b i ∣ p ) 1 q \sum_{i=1}^{n}(|a_i|+|b_i|)|a_i+b_i|^{p-1} \le\\ [ (\sum_{i=1}^{n}{|a_i|^p})^\frac1p+(\sum_{i=1}^{n}{|b_i|^p})^\frac1p]( \sum_{i=1}^{n}{|a_i+b_i|^{p}})^\frac1q i=1n(ai+bi)ai+bip1[(i=1naip)p1+(i=1nbip)p1](i=1nai+bip)q1
  发现两边都有 ∑ i = 1 n ∣ a i + b i ∣ p \sum_{i=1}^{n}|a_i+b_i|^{p} i=1nai+bip,于是对左边进行改造,运用三角不等式:
∣ a + b ∣ ∣ a + b ∣ p − 1 ≤ ( ∣ a ∣ + ∣ b ∣ ) ∣ a + b ∣ p − 1 |a+b||a+b|^{p-1}\le (|a|+ |b|)|a+b|^{p-1} a+b∣∣a+bp1(a+b)a+bp1
  在三角不等式外面加求和符号,得到:
∑ i = 1 n ∣ a i + b i ∣ ∣ a i + b i ∣ p − 1 ≤ ∑ i = 1 n ( ∣ a i ∣ + ∣ b i ∣ ) ∣ a i + b i ∣ p − 1 ⇒ ∑ i = 1 n ∣ a i + b i ∣ p ≤ ∑ i = 1 n ( ∣ a i ∣ + ∣ b i ∣ ) ∣ a i + b i ∣ p − 1 ⇒ ( ∑ i = 1 n ∣ a i + b i ∣ p ) 1 ≤ ∑ i = 1 n ( ∣ a i ∣ + ∣ b i ∣ ) ∣ a i + b i ∣ p − 1 ⇒ ( ∑ i = 1 n ∣ a i + b i ∣ p ) 1 p + 1 q ≤ ∑ i = 1 n ( ∣ a i ∣ + ∣ b i ∣ ) ∣ a i + b i ∣ p − 1 \sum_{i=1}^{n}|a_i+b_i||a_i+b_i|^{p-1} \le \sum_{i=1}^{n}(|a_i|+|b_i|)|a_i+b_i|^{p-1}\\ \Rightarrow \sum_{i=1}^{n}|a_i+b_i|^{p} \le \sum_{i=1}^{n}(|a_i|+|b_i|)|a_i+b_i|^{p-1}\\ \Rightarrow (\sum_{i=1}^{n}|a_i+b_i|^{p})^{1}\le \sum_{i=1}^{n}(|a_i|+|b_i|)|a_i+b_i|^{p-1}\\ \Rightarrow (\sum_{i=1}^{n}|a_i+b_i|^{p})^{\frac1p+\frac1q}\le \sum_{i=1}^{n}(|a_i|+|b_i|)|a_i+b_i|^{p-1} i=1nai+bi∣∣ai+bip1i=1n(ai+bi)ai+bip1i=1nai+bipi=1n(ai+bi)ai+bip1(i=1nai+bip)1i=1n(ai+bi)ai+bip1(i=1nai+bip)p1+q1i=1n(ai+bi)ai+bip1
  把三个式子连起来,得到:
( ∑ i = 1 n ∣ a i + b i ∣ p ) 1 p + 1 q ≤ ∑ i = 1 n ( ∣ a i ∣ + ∣ b i ∣ ) ∣ a i + b i ∣ p − 1 ≤ ( ( ∑ i = 1 n ∣ a i ∣ p ) 1 p + ( ∑ i = 1 n ∣ b i ∣ p ) 1 p ) ( ∑ i = 1 n ∣ a i + b i ∣ p ) 1 q (\sum_{i=1}^{n}|a_i+b_i|^{p})^{\frac1p+\frac1q}\\ \le \sum_{i=1}^{n}(|a_i|+|b_i|)|a_i+b_i|^{p-1}\\ \le( (\sum_{i=1}^{n}{|a_i|^p})^\frac1p+(\sum_{i=1}^{n}{|b_i|^p})^\frac1p)( \sum_{i=1}^{n}{|a_i+b_i|^{p}})^\frac1q\\ (i=1nai+bip)p1+q1i=1n(ai+bi)ai+bip1((i=1naip)p1+(i=1nbip)p1)(i=1nai+bip)q1
  根据不等式的传递性,去掉中间的,然后得到:
( ∑ i = 1 n ∣ a i + b i ∣ p ) 1 p + 1 q ≤ ( ( ∑ i = 1 n ∣ a i ∣ p ) 1 p + ( ∑ i = 1 n ∣ b i ∣ p ) 1 p ) ( ∑ i = 1 n ∣ a i + b i ∣ p ) 1 q (\sum_{i=1}^{n}|a_i+b_i|^{p})^{\frac1p+\frac1q}\\ \le( (\sum_{i=1}^{n}{|a_i|^p})^\frac1p+(\sum_{i=1}^{n}{|b_i|^p})^\frac1p)( \sum_{i=1}^{n}{|a_i+b_i|^{p}})^\frac1q (i=1nai+bip)p1+q1((i=1naip)p1+(i=1nbip)p1)(i=1nai+bip)q1
  所以两边都可以除于 ( ∑ i = 1 n ∣ a i + b i ∣ p ) 1 q (\sum_{i=1}^{n}|a_i+b_i|^{p})^{\frac1q} (i=1nai+bip)q1,得到:
( ∑ i = 1 n ∣ a i + b i ∣ p ) 1 p ≤ ( ∑ i = 1 n ∣ a i ∣ p ) 1 p + ( ∑ i = 1 n ∣ b i ∣ p ) 1 p (\sum_{i=1}^{n}|a_i+b_i|^{p})^{\frac1p} \le (\sum_{i=1}^{n}{|a_i|^p})^\frac1p+(\sum_{i=1}^{n}{|b_i|^p})^\frac1p (i=1nai+bip)p1(i=1naip)p1+(i=1nbip)p1
  这就是闵可夫斯基不等式。证明完毕Q.A.D。

你可能感兴趣的:(线性代数【更新中】,线性代数)