最优化方法 18：近似点算子 Proximal Mapping

前面讲了梯度下降法，分析了其收敛速度，对于存在不可导的函数介绍了次梯度的计算方法以及次梯度下降法，这一节要介绍的内容叫做近似点算子(Proximal mapping)，也是为了处理非光滑问题。

1. 闭函数

在引入闭函数(closed function)的概念之前，我们先回顾一下闭集的概念：集合 $\mathcal{C}$ 是闭的，如果它包含边界，也即
$$x^k\in \mathcal{C},x^k\to \bar{x}\Rightarrow \bar{x}\in \mathcal{C}$$
并且有以下几个简单的原则可以保持集合闭的性质：

1. 闭集的交集还是闭集；
2. 有限个闭集的并集还是闭集；
3. 如果 $\mathcal{C}$ 是闭集，则线性映射的原象也是闭集，也即 $\{x|Ax\in \mathcal{C}\}$ 是闭集。

第 3 条原则反过来则不一定成立，也即如果 $x\in \mathcal{C}$ 是闭集，那么 $\{Ax|x\in \mathcal{C}\}$ 则不一定是闭集，比如我们可以取函数 $f(x)=1/x$ 的 epigraph 为闭集 $\mathcal{C}$，然而 $(x,y)$ 向 $x$ 轴的投影则是一个开集，严格表示与图示如下
$$\mathcal{C}=\left\{\left(x_1,x_2\right)\in {\mathbb{R}}_{+}^2|x_1{x}_2\ge 1\right\},A=[1,0],A\mathcal{C}={\mathbb{R}}_{++}$$

第3条逆原则反例	第3条逆原则充分条件

当然，如果加一些其他的约束条件，则可以保证第 3 条反过来也成立：$A\mathcal{C}$ 是闭的，如果

1. $\mathcal{C}$ 是闭的且为凸集；
2. 并且 $\mathcal{C}$ 不存在一个可以无穷延伸的方向(recession direction)属于 $A$ 的零空间，也即 $Ay=0,\hat{x}\in \mathcal{C},\hat{x}+\alpha y\in \mathcal{C},\forall \alpha >0\Rightarrow y=0$，图示即如上。

然后我们就可以定义**闭函数(closed function)**了，函数 $f$ 为闭的，如果他的 epigraph 为闭集或者他的所有下水平集为闭集。有以下两种简单的特殊情况：

1. 如果 $f$ 连续且定义域 $\text{dom}f$ 为闭的，则 $f$ 为闭函数；
2. 如果 $f$ 连续且定义域 $\text{dom}f$ 为开的，则 $f$ 为闭函数当且仅当其在 $\text{dom}f$ 边界处收敛至 $\infty$。

例子 1：$f(x)=x\log x,\text{dom}f=R_{+},f(0)=0$

例子 2：闭集的指示函数 ${\delta }_C(x)=\{\begin{array}{ll}0& x\in C\\ +\infty & o.w.\end{array}$

反例 3：$f(x)=x\log x,\text{dom}f=R_{++}$ 或者 $f(x)=x\log x,\text{dom}f=R_{+},f(0)=1$ 不是闭函数

反例 4：开集的指示函数不是闭函数

闭函数有一些有用的性质，比如：

1. $f$ 为闭函数当且仅当他的所有下水平集都是闭集；
2. 如果 $f$ 为闭函数，且下水平集有界，那么存在最小值点(minimizer)。

Theorem (Weierstrass) ：假设集合 $D\subset \mathcal{E}$ ($R^n$空间中有限维向量子空间) 非空且闭，并且连续函数 $f:D\to R$ 的所有下水平集都有界，则 $f$ 存在全局最小值点(global minimizer)。

对于闭函数来说也有一些原则可以保持闭的性质：

1. 如果 $f,g$ 均为闭函数，则 $f+g$ 为闭函数
2. 如果 $f$ 为闭函数，则 $f(Ax+b)$ 为闭函数
3. 如果任意 $f_{\alpha }$ 都是闭函数，则 ${\sup }_{\alpha }{f}_{\alpha }(x)$ 为闭函数

2. 共轭函数

共轭函数(conjugate function) 前面已经讲过了，这里再简单回顾一遍。函数 $f$ 的共轭函数定义为
$$f^{\star }(y)=\underset{x\in \text{dom}f}{\sup }(y^{T}x-f(x))$$

并且共轭函数有一些重要的性质：

1. 共轭函数一定是闭函数，且为凸函数，不论 $f$ 是否为凸函数或闭函数（因为 $f^{\star }$ 的 epigraph 可以看成很多个半空间的交集）；
2. (Fenchel’s inequality) $f(x)+f^{\ast }(y)\ge x^{\top }y,\forall x,y$
3. (Legendre transform) 如果 $f$ 为凸函数且为闭函数，则有 $y\in \partial f(x)\iff x\in \partial f^{\ast }(y)\iff x^{\top }y=f(x)+f^{\ast }(y)$
4. 如果 $f$ 为凸函数且为闭函数，则 $f^{\star \star }=f$

除此之外还有一些代数变换的原则，推导也都比较简单：

1. $f\left(x_1,x_2\right)=g\left(x_1\right)+h\left(x_2\right),f^{\ast }\left(y_1,y_2\right)=g^{\ast }\left(y_1\right)+h^{\ast }\left(y_2\right)$
2. $f(x)=\alpha g(x),f^{\ast }(y)=\alpha g^{\ast }(y/\alpha )(★)$
3. $f(x)=g(x)+a^{\top }x+b{f}^{\ast }(y)=g^{\ast }(y-a)-b$
4. $f(x)={\inf }_{u+v=x}(g(u)+h(v))f^{\ast }(y)=g^{\ast }(y)+h^{\ast }(y)$

共轭函数的计算就不多举例子了，这里主要列出来后面用的比较多的而且比较重要的，其他的可以参考前面的笔记 6：

例子 1：$C$ 为凸集，则指示函数 $f(x)={\delta }_C(x)$，其共轭函数为支撑函数
$$f^{\star }(y)=\sup \{y^{T}x|x\in C\}$$
如果求两次共轭函数也很容易得到：支撑函数的共轭函数为指示函数。

例子 2：范数 $f(x)=\Vert x\Vert$ 的共轭函数也是指示函数
$$f^{\star }(y)=\{\begin{array}{ll}0& \Vert y{\Vert }_{\ast }\le 1\\ \infty & \text{ otherwise }\end{array}$$

3. 近似点算子

首先给出来近似点算子(Proximal mapping)的定义：闭凸函数 $f$ 的近似点算子定义为
$${\mathrm{prox}}_f(x)=\underset{u}{\mathrm{argmin}}\left(f(u)+\frac{1}{2}\Vert u-x{\Vert }_2^2\right)$$
根据这个定义，实际上我们是在求解函数 $g(u)=f(u)+\frac{1}{2}\Vert u-x{\Vert }_2^2$ 的最小值，由于 $g$ 是闭函数且下水平集有界，因此最小值一定存在；同时由于 $g$ 为强凸函数，因此最小值点唯一。

那么怎么理解这个算子函数 ${\text{prox}}_f(x)$ 呢？可以看到这实际上是一个 ${\text{prox}}_f:R^n\to R^n$ 的映射。如果 $u={\text{prox}}_f(x)$，则应该有 $x-u\in \partial f(u)$。下面看一些简单的例子。

例子 1：二次函数 $A⪰0$
$$f(x)=\frac{1}{2}{x}^{T}Ax+b^{T}x+c,{\mathrm{prox}}_{tf}(x)=(I+tA{)}^{-1}(x-tb)$$
例子 2：欧几里得范数 $f(x)=\Vert x{\Vert }_2$
$${\mathrm{prox}}_{tf}(x)=\{\begin{array}{ll}\left(1-t/\Vert x{\Vert }_2\right)x& \Vert x{\Vert }_2\ge t\\ 0& \text{ otherwise }\end{array}$$
例子 3：Logarithmic barrier
$$f(x)=-\sum _{i=1}^n\log x_i,{\mathrm{prox}}_{tf}(x{)}_i=\frac{x_i+\sqrt{x_i^2+4t}}{2},i=1,\dots ,n$$

上面是比较简单的例子，近似点算子也有一些很容易验证的代数运算规律：

1. $f\left(\left[\begin{array}{l}x\\ y\end{array}\right]\right)=g(x)+h(y),{\mathrm{prox}}_f\left(\left[\begin{array}{l}x\\ y\end{array}\right]\right)=\left[\begin{array}{l}{\mathrm{prox}}_g(x)\\ {\mathrm{prox}}_h(y)\end{array}\right]$
2. $f(x)=g(ax+b),{\mathrm{prox}}_f(x)=\frac{1}{a}\left({\mathrm{prox}}_{a^{2}g}(ax+b)-b\right)$ (注意 $a\ne 0$ 是标量)
3. $f(x)=\lambda g(x/\lambda ),{\mathrm{prox}}_f(x)=\lambda {\mathrm{prox}}_{{\lambda }^{-1}g}(x/\lambda )(★)$
4. $f(x)=g(x)+a^{T}x,{\mathrm{prox}}_f(x)={\mathrm{prox}}_g(x-a)$
5. $f(x)=g(x)+\frac{\mu }{2}\Vert x-a{\Vert }_2^2,{\mathrm{prox}}_f(x)={\mathrm{prox}}_{\theta g}(\theta x+(1-\theta )a)$，其中 $\mu >0,\theta =1/(1+\mu )$
6. $f(x)=g(Ax+b)$，对于一般的 $A$ 并不能得到比较好的性质，但如果 $A{A}^T=(1/\alpha )I$，则有

$$\begin{array}{rl}{\mathrm{prox}}_f(x)& =\left(I-\alpha A^{T}A\right)x+\alpha A^T\left({\mathrm{prox}}_{{\alpha }^{-1}g}(Ax+b)-b\right)\\ & =x-\alpha A^T\left(Ax+b-{\mathrm{prox}}_{{\alpha }^{-1}g}(Ax+b)\right)\end{array}$$

前面几条都比较容易证明，最后一条证明可以等价于求解
$$\begin{array}{rl}\text{ minimize }& g(y)+\frac{1}{2}\Vert u-x{\Vert }_2^2\\ \text{ subject to }& Au+b=y\end{array}$$
可以先求解 $x$ 向超平面 $Au+b=y$ 投影来消去 $u$，然后再计算 ${\text{prox}}_f(y)$。

除此之外，有一个非常重要的等式：

Moreau decomposition：
$$x={\mathrm{prox}}_f(x)+{\mathrm{prox}}_{f^{\ast }}(x)\text{ for all }x$$

Remarks：为什么说这个式子重要呢？因为他把原函数和共轭函数的 proximal mapping 联系起来了，如果其中一个比较难计算，那么我们可以通过另一个来计算。这个式子可以怎么理解呢？可以看成是一种正交分解，举个栗子，如果我们取一个子空间 $L$，他的正交空间为 $L^{\perp }$，令函数 $f$ 为子空间 $L$ 的指示函数也即 $f={\delta }_L$，那么很容易验证共轭函数 $f^{\star }={\delta }_{L^{\perp }}$。而根据定义也可以得到 ${\text{prox}}_f(x)$ 恰好就是 $x$ 在子空间 $L$ 上的投影，记为 $P_L(x)={\text{prox}}_f(x)$，同样的 $P_{L^{\perp }}(x)={\text{prox}}_{f^{\star }}(x)$，因此上面的 Moreau decomposition 就可以写为 $x=P_L(x)+P_{L^{\perp }}(x)$，这正好就是一个正交分解。可以根据下图理解

如果对原始的 Moreau decomposition 做简单的代数变换，就可以得到 $\lambda >0$
$$x={\mathrm{prox}}_{\lambda f}(x)+\lambda {\mathrm{prox}}_{{\lambda }^{-1}{f}^{\ast }}(x/\lambda )\text{ for all }x$$
证明过程用到了共轭函数的性质 $(\lambda f{)}^{\star }(y)=\lambda f^{\star }(y/\lambda )$。

后面两个小节则主要是近似点算子的应用，一个是计算投影，另一个是与支撑函数、距离相关的内容。

4. 投影

为什么突然讲到投影呢？因为对指示函数应用近似点算子，实质上就是在计算投影。举个栗子就明白了：对于集合 $C$ 与集合外一点 $x$，$x$ 向集合 $C$ 的投影可以表示为
$$\begin{array}{rl}\text{ minimize }& \frac{1}{2}\Vert y-x{\Vert }_2^2\\ \text{ subject to }& y\in C\end{array}$$
若投影点为 $y^{\star }$，则这可以等价表示为
$$\begin{array}{rl}{y}^{\star }& =\arg \underset{y}{\min }\frac{1}{2}\Vert y-x{\Vert }_2^2+{\delta }_C(y)\\ & ={\text{prox}}_{\delta }(x)\end{array}$$
因此 ${\text{prox}}_{\delta }(x)$ 就是 $x$ 向集合 $C$ 的投影点(对于 $x\in C$ 同样成立)。那么只要我们取不同的 $C$，就能得到各种类型集合的投影表达式，下面举一些例子。

超平面：$C=\{x|a^{T}x=b\}$ with $a\ne 0$
$$P_C(x)=x+\frac{b-a^{T}x}{\Vert a{\Vert }_2^2}a$$
仿射集：$C=\{x|Ax=b\}\left(\text{ with }A\in {\mathbf{R}}^{p\times n}\text{ and }\mathrm{rank}(A)=p\right)$
$$P_C(x)=x+A^T{\left(A{A}^T\right)}^{-1}(b-Ax)$$
半空间：$C=\{x|a^{T}x\le b\}$ with $a\ne 0$
$$P_C(x)=\{\begin{array}{ll}x+\frac{b-a^{T}x}{\Vert a{\Vert }_2^2}a& \text{if }{a}^{T}x>b\\ x& \text{if }{a}^{T}x\le b\end{array}$$
矩形：$C=[l,u]=\left\{x\in {\mathbf{R}}^n|l\le x\le u\right\}$
$$P_C(x{)}_k=\{\begin{array}{ll}{l}_k& x_k\le l_k\\ x_k& l_k\le x_k\le u_k\\ u_k& x_k\ge u_k\end{array}$$
非负象限：$C=R_{+}^n$
$$P_C(x)=x_{+}=\left(\max \left\{0,x_1\right\},\max \left\{0,x_2\right\},\dots ,\max \left\{0,x_n\right\}\right)$$
概率单形：$C=\left\{x|1^{T}x=1,x\ge 0\right\}$
$$P_C(x)=(x-\lambda 1{)}_{+}$$
其中 $\lambda$ 由以下方程解出
$$1^T(x-\lambda 1{)}_{+}=\sum _{i=1}^n\max \left\{0,x_k-\lambda \right\}=1$$
这个的证明有一点难度，关键是首先要把约束条件 $x\ge 0$ 转换为指示函数表示
$$\begin{array}{rl}\text{ minimize }& \frac{1}{2}\Vert y-x{\Vert }_2^2+{\delta }_{R_{+}^n}(y)\\ \text{ subject to }& 1^{T}y=1\end{array}$$
然后将拉格朗日函数分解成求和的形式
$$\begin{array}{l}\frac{1}{2}\Vert y-x{\Vert }_2^2+{\delta }_{{\mathbf{R}}_{+}^n}(y)+\lambda \left(1^{T}y-1\right)\\ ={\sum }_{k=1}^n\left(\frac{1}{2}{\left(y_k-x_k\right)}^2+{\delta }_{{\mathbf{R}}_{+}}\left(y_k\right)+\lambda y_k\right)-\lambda \end{array}$$
对上面这个求和项进行分情况讨论就能得到解析表达式了，不过真的很繁琐。

超平面与矩形交集：$C=\{x|a^{T}x=b,l⪯x⪯u\}$
$$P_C(x)=P_{[l,u]}(x-\lambda a)$$
其中 $\lambda$ 由以下方程解出
$$a^T{P}_{[l,u]}(x-\lambda a)=b$$
证明跟上面的概率单形是类似的，也需要拆写成多项求和的形式分别求解。

欧几里得球：$C=\{x|\Vert x{\Vert }_2\le 1\}$
$$P_C(x)=\{\begin{array}{ll}\frac{x}{\Vert x{\Vert }_2}& \text{if }\Vert x{\Vert }_2>1\\ x& \text{if }\Vert x{\Vert }_2\le 1\end{array}$$
1 范数球：$C=\{x|\Vert x{\Vert }_1\le 1\}$

若 $\Vert x{\Vert }_1\le 1$ 则 $P_C(x)=x$；否则
$$P_C(x{)}_k=\mathrm{sign}\left(x_k\right)\max \left\{\left|x_k\right|-\lambda ,0\right\}=\{\begin{array}{ll}{x}_k-\lambda & x_k>\lambda \\ 0& -\lambda \le x_k\le \lambda \\ x_k+\lambda & x_k<-\lambda \end{array}$$
其中 $\lambda$ 由以下等式获得
$$\sum _{k=1}^n\max \{|x{|}_k-\lambda ,0\}=1$$
证明业与前面的类似，需要写成求和项的形式，然后对每一项求解。

二阶锥：$C=\{(x,t)\in R^{n\times 1}|\Vert x{\Vert }_2\le t\}$
$$P_C(x,t)=\{\begin{array}{ll}(x,t)& \text{if }\Vert x{\Vert }_2\le t\\ (0,0)& \text{if }\Vert x{\Vert }_2\le -t\\ \frac{t+\Vert x{\Vert }_2}{2\Vert x{\Vert }_2}\left[\begin{array}{c}x\\ \Vert x{\Vert }_2\end{array}\right]& \text{if }\Vert x{\Vert }_2>|t|\end{array}$$
正定锥：$C=S_{+}^n$
$$P_C(X)=\sum _{i=1}^n\max \left\{0,{\lambda }_i\right\}{q}_i{q}_i^T$$
其中 $X={\sum }_i{\lambda }_i{q}_i{q}_i^T$

5. 支撑函数、范数与距离

这一小节标题看起来很复杂，牵涉到了支撑函数、范数、到集合的距离，但实际上都还是在计算投影，为什么这么说呢？回忆一下，支撑函数的共轭函数是不是 $\delta$ 函数？范数的共轭函数是不是 $\delta$ 函数？到集合的距离是不是就等于到投影点的距离？所以这一小节是上一小节“投影”的自然延伸，其中为了把原函数与共轭函数联系在一起，用到了 Moreau decomposition。我们一个一个来看。
$$x={\mathrm{prox}}_f(x)+{\mathrm{prox}}_{f^{\ast }}(x)\text{ for all }x$$
支撑函数：$f(x)={\sup }_{y\in C}{x}^{T}y,f^{\star }(y)={\delta }_C(y)$，因此近似点算子为
$$\begin{array}{rl}{\mathrm{prox}}_{tf}(x)& =x-t{\mathrm{prox}}_{t^{-1}{f}^{\ast }}(x/t)\\ & =x-t{P}_C(x/t)\end{array}$$
范数：$f(x)=\Vert x\Vert ,f^{\star }(y)={\delta }_B(y)$，其中 $B=\{y|\Vert y{\Vert }_{\star }\le 1\}$，近似点算子为
$$\begin{array}{rl}{\mathrm{prox}}_{tf}(x)& =x-t{\mathrm{prox}}_{t^{-1}{f}^{\ast }}(x/t)\\ & =x-t{P}_B(x/t)\\ & =x-P_{tB}(x)\end{array}$$
其中 $tB=\{y|\Vert y{\Vert }_{\star }\le t\}$

与一点的距离：$f(x)=\Vert x-a\Vert$，可以取 $g(x)=\Vert x\Vert$
$$\begin{array}{rl}{\mathrm{prox}}_{tf}(x)& =a+{\mathrm{prox}}_{tg}(x-a)\\ & =a+x-a-t{P}_B(\frac{x-a}{t})\\ & =x-P_{tB}(x-a)\end{array}$$
到集合的距离：到闭凸集 $C$ 的距离定义为 $d(x)={\inf }_{y\in C}\Vert x-y{\Vert }_2$
$${\mathrm{prox}}_{td}(x)=\{\begin{array}{ll}x+\frac{t}{d(x)}\left(P_C(x)-x\right)& d(x)\ge t\\ P_C(x)& \text{ otherwise }\end{array}$$
如果是距离取平方 $f(x)=d(x{)}^2/2$，则有
$${\mathrm{prox}}_{tf}(x)=\frac{1}{1+t}x+\frac{t}{1+t}{P}_C(x)$$
这个证明贴在下面

最后给我的博客打个广告，欢迎光临
https://glooow1024.github.io/
https://glooow.gitee.io/

前面的一些博客链接如下
凸优化专栏
凸优化学习笔记 1：Convex Sets
凸优化学习笔记 2：超平面分离定理
凸优化学习笔记 3：广义不等式
凸优化学习笔记 4：Convex Function
凸优化学习笔记 5：保凸变换
凸优化学习笔记 6：共轭函数
凸优化学习笔记 7：拟凸函数 Quasiconvex Function
凸优化学习笔记 8：对数凸函数
凸优化学习笔记 9：广义凸函数
凸优化学习笔记 10：凸优化问题
凸优化学习笔记 11：对偶原理
凸优化学习笔记 12：KKT条件
凸优化学习笔记 13：KKT条件 & 互补性条件 & 强对偶性
凸优化学习笔记 14：SDP Representablity
最优化方法 15：梯度方法
最优化方法 16：次梯度
最优化方法 17：次梯度下降法
最优化方法 18：近似点算子 Proximal Mapping
最优化方法 19：近似梯度下降
最优化方法 20：对偶近似点梯度下降法
最优化方法 21：加速近似梯度下降方法
最优化方法 22：近似点算法 PPA
最优化方法 23：算子分裂法 & ADMM
最优化方法 24：ADMM