凸函数与凸集

  对于《欠定线性系统与正则化》一节中的优化问题：

$$(P_J):\underset{\mathbf{x}}{\min }J(\mathbf{x})\mathrm{s}.\mathrm{t}.\mathbf{b}=\mathbf{A}\mathbf{x}$$

只要$J(\cdot )$为严格凸的函数，都能保证只有唯一解，$l_2$能够带来唯一解就是其中的一个例子。

1、凸集

【定义1】对于集合$\Omega$，$\forall {\mathbf{x}}_1,{\mathbf{x}}_2\in \Omega$以及$\forall t\in [0,1]$，若凸组合
$$\mathbf{x}=t{\mathbf{x}}_1+(1-t){\mathbf{x}}_2$$也在$\Omega$中，则$\Omega$为凸集。

  显然，图1中的(a)为凸集，而(b)为凹集。

图1 凸集的定义

  下面我们用定义1来看看$\mathbf{A}\mathbf{x}=\mathbf{b}$的解集的凸性。设$\Omega =\{\mathbf{x}|\mathbf{A}\mathbf{x}=\mathbf{b}\}$，由$\mathbf{A}\mathbf{x}=\mathbf{b}$,可得$\mathbf{x}=({\mathbf{A}}^{\mathrm{T}}\mathbf{A}{)}^{-1}{\mathbf{A}}^{\mathrm{T}}\mathbf{b}$。显然，$$\mathbf{x}=t{\mathbf{x}}_1+(1-t){\mathbf{x}}_2=({\mathbf{A}}^{\mathrm{T}}\mathbf{A}{)}^{-1}{\mathbf{A}}^{\mathrm{T}}\mathbf{b}\in \mathbf{\Omega }$$因此$\mathbf{A}\mathbf{x}=\mathbf{b}$的解集$\Omega$为凸集。
  为了保证优化问题总体上是凸的，我们还必须保证惩罚函数$J(\mathbf{x})$也是凸的。所以我们先来看看凸函数的定义。

2、凸函数

【定义2】若函数$J(\mathbf{x}):\mathbf{\Omega }\to \mathbb{R}$为凸的，则$\forall {\mathbf{x}}_1,{\mathbf{x}}_2\in \Omega$且$\forall t\in [0,1]$，凸组合点$\mathbf{x}=t{\mathbf{x}}_1+(1-t){\mathbf{x}}_2$满足
$$J(t{\mathbf{x}}_1+(1-t){\mathbf{x}}_2)\le tJ({\mathbf{x}}_1)+(1-t)J({\mathbf{x}}_2).$$

图2给出了凸函数的定义，从图中可以看出，当$t$在0到1之间变化时，$\mathbf{x}$在${\mathbf{x}}_1$和${\mathbf{x}}_2$之间变化，而$J(t{\mathbf{x}}_1+(1-t){\mathbf{x}}_2)$为函数$J(\mathbf{x})$上的点，它始终小于$({\mathbf{x}}_1,J({\mathbf{x}}_1))$和$({\mathbf{x}}_2,J({\mathbf{x}}_2))$两点连线上的点：$tJ({\mathbf{x}}_1)+(1-t)J({\mathbf{x}}_2)$。

图2 凸函数的定义

  进一步，我们在《凸函数成立的一阶与二阶条件》一文中给出了凸函数成立的两个充要条件。利用二阶条件，即凸函数的Hessian阵半正定，我们知道${\ell }_2$-范数的平方是凸的，因为${▽}^2||\mathbf{x}|{|}_2^2=2\mathbf{I}$。事实上，由于对于任意的$\mathbf{x}$，${\ell }_2$-范数的平方的Hessian阵都是严格正定的，因此它是严格凸的，也就可以得到唯一解。

---

【参考文献】
[1] Michael Lead, Sparse and Redundant Representations, From Theory to Applications in Signal and Image Processing.

ps：$\ell$用来作为$l$的花体很好看呀，输入\ell就OK啦。