证明p-norm是凸函数

证明p-norm是凸函数

回顾一下 p-norm的定义,为:
∣ ∣ x ∣ ∣ p = ( ∑ i = 1 n ∣ x i ∣ p ) 1 / p ||x||_p=(\sum_{i=1}^{n}|x_i|^p)^{1/p} xp=(i=1nxip)1/p

结论
  • 首先给出结论:当 0 < p < 1 00<p<1时,Minkowski 不等式不成立, ∣ ∣ x ∣ ∣ p ||\mathbf{x}||_p xp未滿足向量范数要求的三角不等式,故不能稱為范数(尽管我們仍可以計算它)。当 1 ≤ p < ∞ 1 \le p< \infty 1p<时,等式成立,故为凸函数。
性质
  • 1 ≤ p < ∞ 1 \le p< \infty 1p<时,向量 ℓ p − \ell_p- p范数具有如下三个性质:
    1.非负性:对于 x ∈ R n \mathbf{x}\in\mathbb{R}^n xRn ∥ x ∥ p ≥ 0 \Vert\mathbf{x}\Vert_p\ge 0 xp0 ∥ x ∥ p = 0 \Vert\mathbf{x}\Vert_p=0 xp=0 仅当 x = 0 \mathbf{x}=\mathbf{0} x=0
    2.正齐次性:对于任一純量 c 和 x ∈ R n , ∥ c x ∥ p = ∣ c ∣ ∥ x ∥ p \mathbf{x}\in\mathbb{R}^n,\Vert c\mathbf{x}\Vert_p=\vert c\vert \Vert \mathbf{x}\Vert_p xRncxp=cxp
    3.Minkowski 不等式:若 x , y ∈ R n , 則 ∥ x + y ∥ p ≤ ∥ x ∥ p + ∥ y ∥ p \mathbf{x},\mathbf{y}\in\mathbb{R}^n,則 \Vert \mathbf{x}+\mathbf{y}\Vert_p\le\Vert\mathbf{x}\Vert_p+\Vert\mathbf{y}\Vert_p x,yRnx+ypxp+yp
证明:
  • 使用定义即可證明 ℓ p − 範 數 ∥ x ∥ p , 1 ≤ p < ∞ \ell_p-範數 \Vert\mathbf{x}\Vert_p,1\le p<\infty pxp1p<,是一個凸函數。對於 x , y ∈ R n 且 0 ≤ λ ≤ 1 \mathbf{x},\mathbf{y}\in\mathbb{R}^n 且 0\le\lambda\le 1 x,yRn0λ1,根據正齊次性和 Minkowski 不等式,立得:
    ∥ λ x + ( 1 − λ ) y ∥ p ≤ ∥ λ x ∥ + ∥ ( 1 − λ ) y ∥ p = λ ∥ x ∥ p + ( 1 − λ ) ∥ y ∥ p . \displaystyle\begin{aligned} \Vert \lambda\mathbf{x}+(1-\lambda)\mathbf{y}\Vert_p&\le\Vert\lambda\mathbf{x}\Vert+\Vert(1-\lambda)\mathbf{y}\Vert_p\\ &=\lambda\Vert\mathbf{x}\Vert_p+(1-\lambda)\Vert\mathbf{y}\Vert_p. \end{aligned} λx+(1λ)ypλx+(1λ)yp=λxp+(1λ)yp.
    0 < p < 1 0< p<1 0<p<1 ∥ x ∥ p \Vert\mathbf{x}\Vert_p xp 不是一個凸函數,因為 Minkowski 不等式不復成立。

更详细的推导请见,参考:
关于p-norm的证明

你可能感兴趣的:(线性代数,凸函数,机器学习)