向量范数的几何直观理解和等价定义——如何从几何上定义向量范数?

【一.向量范数的几何直观理解】
\quad 我们知道,一个函数: f : R n ↦ R f:R^n\mapsto R f:RnR 被称为 R n R^n Rn空间的一个范数,如果它满足以下三条性质:(以下以 ∥ ⋅ ∥ \left\|\cdot\right\| 来代表这个函数)
\quad (1)正定性: ∥ x ∥ ≥ 0 , ∀ x ∈ R n \left\|x\right\|\geq0,\forall x\in R^n x0,xRn,且: ∥ x ∥ = 0 ⟺ x = 0 ; \left\|x\right\|=0\Longleftrightarrow x=0; x=0x=0;
\quad (2)齐次性: ∥ c x ∥ = ∣ c ∣ ⋅ ∥ x ∥ , ∀ x ∈ R n , c ∈ R ; \left\|cx\right\|=|c|\cdot\left\|x\right\|,\forall x\in R^n,c\in R; cx=cx,xRn,cR;
\quad (3)三角不等式: ∥ x + y ∥ ≤ ∥ x ∥ + ∥ y ∥ , ∀ x , y ∈ R n ; \left\|x+y\right\|\leq\left\|x\right\|+\left\|y\right\|,\forall x,y\in R^n; x+yx+y,x,yRn;

\quad 接下来,我们将从几何角度理解范数:首先,在有一个范数的情况下,我们可以在 R n R^n Rn空间中画出一个单位球 S ≜ { x ∣ x ∈ R n , ∥ x ∥ ≤ 1 } S\triangleq \{x|x\in R^n,\left\|x\right\|\leq1\} S{xxRn,x1}.为了有一个简单的直观理解,我们给出二维情形下,几个常见范数的单位球图像:
向量范数的几何直观理解和等价定义——如何从几何上定义向量范数?_第1张图片

\quad 这个单位球显然有以下几个性质:
\quad (1)关于原点对称,即 ∀ x ∈ S , \forall x\in S, xS,均有 − x ∈ S ; -x\in S; xS;
\quad (2)是一个有界闭集,且零向量0是它的一个内点;
\quad (3)是一个凸集:这点由范数满足的三角不等式保证;

\quad 范数的几何直观理解就是,如果一个非零向量 x x x的端点落在这个单位凸球的边界上,那么 ∥ x ∥ = 1 \left\|x\right\|=1 x=1;否则,如果 a x ax ax的端点落在这个单位凸球的边界上,那么 ∥ x ∥ = ∣ α ∣ \left\|x\right\|=|\alpha| x=α.

【二.从几何上定义向量范数】
\quad 一个重要结论是:几何上,一个范数和一个满足以上三个条件的凸球一一对应。也就是说,范数能定义一个单位凸球;反过来,如果有了一个满足以上三条性质的凸集,那么可以唯一定义一个向量范数。

\quad 假设我们有了一个满足以上三个性质的凸集 C C C,定义一个映射:
\quad ∥ ⋅ ∥ B : R n ↦ R : ∥ x ∥ = s u p { t ≥ 0 ∣ t x ∈ C } − 1 \left\|\cdot\right\|_{B}:R^n\mapsto R:\left\|x\right\|=sup\{t\geq 0|tx\in C\}^{-1} B:RnR:x=sup{t0txC}1
\quad 那么这个映射就是该凸集定义的一个向量范数。

\quad 哈哈,上面这个式子是否很难理解呢?其实它理解起来很简单,和之前范数的几何理解一样:在我们定义这样一个凸集之后,如果一个非零向量 x x x的端点落在这个凸集的边界上,那么 ∥ x ∥ = 1 \left\|x\right\|=1 x=1;否则,如果 a x ax ax的端点落在这个凸集的边界上,那么 ∥ x ∥ = ∣ α ∣ \left\|x\right\|=|\alpha| x=α.

\quad 我们需要证明:这样定义的这个映射满足范数定义中的三条性质,这样才能说这个映射是一个向量范数。
\quad 证明:
\quad (1)正定性:由定义, ∥ x ∥ B ≥ 0 , ∀ x ∈ R n \left\|x\right\|_B\geq0,\forall x\in R^n xB0,xRn自然地满足。由于零向量0是集合 C C C的一个内点,也就是说存在一个0的小领域包含于C,因此显然: ∥ x ∥ B = 0 ⟺ x = 0 ; \left\|x\right\|_B=0\Longleftrightarrow x=0; xB=0x=0;
\quad (2)齐次性: ∀ x ∈ R n , c ∈ R , \forall x\in R^n,c\in R, xRn,cR,
∥ c x ∥ B = s u p { t ≥ 0 ∣ t x ∈ C } − 1 = ∣ c ∣ ⋅ s u p { t ≥ 0 ∣ t x ∈ C } − 1 = ∣ c ∣ ⋅ ∥ x ∥ B \left\|cx\right\|_{B}=sup\{t\geq 0|tx\in C\}^{-1}=|c|\cdot sup\{t\geq 0|tx\in C\}^{-1}=|c|\cdot\left\|x\right\|_B cxB=sup{t0txC}1=csup{t0txC}1=cxB
\quad (3)三角不等式:
\quad x , y ∈ R n x,y\in R^n x,yRn,如果 x , y x,y x,y 都为0,显然三角不等式成立;
\quad 如果 x , y x ,y x,y至少有一个不为0,那么:
\quad x + y ∥ x ∥ B + ∥ y ∥ B = ∥ x ∥ B ∥ x ∥ B + ∥ y ∥ B x ∥ x ∥ B + ∥ y ∥ B ∥ x ∥ B + ∥ y ∥ B y ∥ y ∥ B \frac{x+y}{\left\|x\right\|_B+\left\|y\right\|_B}=\frac{\left\|x\right\|_B}{\left\|x\right\|_B+\left\|y\right\|_B}\frac{x}{\left\|x\right\|_B}+\frac{\left\|y\right\|_B}{\left\|x\right\|_B+\left\|y\right\|_B}\frac{y}{\left\|y\right\|_B} xB+yBx+y=xB+yBxBxBx+xB+yByByBy
∥ ⋅ ∥ B \left\|\cdot\right\|_{B} B定义: x ∥ x ∥ B ∈ C , y ∥ y ∥ B ∈ C . \frac{x}{\left\|x\right\|_B}\in C,\frac{y}{\left\|y\right\|_B}\in C. xBxC,yByC.
再联系到 ∥ x ∥ B ∥ x ∥ B + ∥ y ∥ B + ∥ y ∥ B ∥ x ∥ B + ∥ y ∥ B = 1 \frac{\left\|x\right\|_B}{\left\|x\right\|_B+\left\|y\right\|_B}+\frac{\left\|y\right\|_B}{\left\|x\right\|_B+\left\|y\right\|_B}=1 xB+yBxB+xB+yByB=1, C C C是一个凸集,所以:
\quad x + y ∥ x ∥ B + ∥ y ∥ B ∈ C \frac{x+y}{\left\|x\right\|_B+\left\|y\right\|_B}\in C xB+yBx+yC,于是 ∥ x + y ∥ x ∥ B + ∥ y ∥ B ∥ B ≤ 1 \left\|\frac{x+y}{\left\|x\right\|_B+\left\|y\right\|_B}\right\|_B\leq 1 xB+yBx+yB1,于是 ∥ x + y ∥ B ≤ ∥ x ∥ B + ∥ y ∥ B ; \left\|x+y\right\|_B\leq\left\|x\right\|_B+\left\|y\right\|_B; x+yBxB+yB;

综上,证毕。

从上面我们看到了:一个向量范数和一个 R n R^n Rn空间的一个凸集一一对应。所以我们有了另一种定义向量范数的方式:画一个凸集即可(当然,这个凸集要满足上面说的几条性质),然后我们就可以说,看:我定义了一个向量范数。

很酷,不是吗?

你可能感兴趣的:(机器学习)