Proximal Algorithms 1 介绍

Proximal Algorithms

定义

令为闭的凸函数，即其上镜图:

为非空闭的凸集，定义域：

近端算子(是这么翻译的?)proximal operator 定义为：

在这里插入图片描述

我们常常会对添加一个比例系数，而关心的近端算子：

在这里插入图片描述

注：等式右边乘以一个常数便是的形式，所以是等价的。

解释

图形解释

在这里插入图片描述

注：图中的细黑线是函数的等值线，而粗黑线表示定义域的边界。在蓝色的点处估计其得到红色的点。

可以发现，实际上是对点附近的一个估计。

梯度解释

假设很小，且可微，那么，容易知道取得极值(实际上也是最值)的条件是：

可以看到，近似为在点的梯度下降，而为步长。

一个简单的例子

有一个问题，就是，如果我们的目的是最小化，那么利用会不会太愚蠢了，既然我们能求解，那么直接最小化应该也不是难事吧。这个问题留到以后再讨论吧，我也不知道能否找到一个恰当的例子来反驳。

当是一个示性函数：

在这里插入图片描述

其中为非空凸集，我们来看看这个时候的:

首先，我们可以确定, 否则结果为无穷，所以，问题可以转化为一个Euclid范数下投影问题：

在这里插入图片描述

所以一个问题是，如果的尾项不用范数，用别的范数会变成什么样？