凸优化－次梯度算法

02 October 2015

1. 次梯度

在优化问题中，我们可以对目标函数为凸函数的优化问题采用梯度下降法求解，但是在实际情况中，目标函数并不一定光滑、或者处处可微，这时就需要用到次梯度下降算法。

次梯度（*Subgradient*）与梯度的概念类似，凸函数的First-order characterization是指如果函数f可微，那么当且仅当 为凸集，且对于 ，使得 ，则函数 为凸函数。这里所说的次梯度是指在函数 上的点 满足以下条件的 ：

其中，函数 不一定要是凸函数，非凸函数也可以，即对于凸函数或者非凸函数而言，满足上述条件的 均为函数在该点的次梯度。但是，凸函数总是存在次梯度（可以利用epigraph和支撑平面理论证明），而非凸函数则不一定存在次梯度，即使 可微。该定义说明，用次梯度对原函数做出的一阶展开估计总是比真实值要小。

很明显，凸函数的次梯度一定存在，如果函数 在点 处可微，那么 ，为函数在该点的梯度，且唯一；如果不可微，则次梯度不一定唯一。但是对于非凸函数，次梯度则不一定存在，也不一定唯一。例如，凸函数 范数为凸函数，但不满足处处可微的条件，因此，函数的次梯度不一定唯一，如下图：

左一图为 ，函数在 时，次梯度唯一，且 ；当 时，次梯度为 中的任意一个元素；

左二图为 ，函数在 时，次梯度唯一，且 ；当 时，次梯度为 中的任意一个元素；

同样，绝对值函数 和最大值函数 在不可微点处次梯度也不一定唯一，如下图：

对于左二函数而言，其在满足 的点处，次梯度为任意一条直线在向量 和 之间。

同理，我们还可以给出次微分（subdifferential）的定义，即：

• 次微分是闭合且为凸集；
• 如果函数 在点 处可微，那么次微分等于梯度；
• 凸函数的次微分不为空，但非凸函数则不一定。

如果我们还记得Normal cone是指给定任意集合 和点 ， ，那么我们可以看出，对于集合 的边界上点的Normal cone就是函数 在该点的次微分。其中，

证明：

因为，对于函数的次梯度会满足 ，因此，

• 对于 ， ，不满足Normal cone的定义；
• 对于 ， ，满足Normal cone的定义；

既证。

2. 次梯度的性质

• Scalingf： ；
• Addition： ；
• Affine composition：如果 ，那么 ；
• Finite pointwise maximum：如果 ，那么 ，意味着函数 的次微分等于所有能取得最大值的函数 在点 处的微分，具体实例可参考之前提到的最大值函数部分。

3. 为什么要计算次梯度？

对于光滑的凸函数而言，我们可以直接采用梯度下降算法求解函数的极值，但是当函数不处处光滑，处处可微的时候，梯度下降就不适合应用了。因此，我们需要计算函数的次梯度。对于次梯度而言，其没有要求函数是否光滑，是否是凸函数，限定条件很少，所以适用范围更广。

次梯度具有以下优化条件（subgradient optimality condition）：对于任意函数 （无论是凸还是非凸），函数在点 处取得最值等价于：

即，当且仅当0属于函数 在点 处次梯度集合的元素时， 为最优解。

证明：

证明很简单，当次梯度 时，对于所有 ，存在 ，所以， 为最优解，即证。

4. 次梯度算法

次梯度算法（Subgradient method）与梯度下降算法类似，仅仅用次梯度代替梯度，即：

其中， ，为 在点 处的次梯度。

与梯度下降算法不同的地方在于，次梯度算法并不是下降算法，每次对于参数的更新并不能保证代价函数是呈单调递减的趋势，因此，一般请款下我们选择：

另一点与梯度下降算法不同的是：次梯度算法没有明确的步长选择方法，类似Exact line search和Backtracking line search的方法，只有步长选择准则，具体如下：

• Fixed step sizes：  ；
• Diminishing step sizes： 选择满足以下条件的 :

Diminishing step sizes方法主要是保证步长逐渐变小，同时，变化幅度还不会特别快。这里需要注意的是，次梯度算法并不像梯度下降一样，可以在每一次迭代过程中自适应的计算此次步长（adaptively computed），而是事先设定好的（pre-specified）。

但是，很多人会提出这样一个问题，如果你不能保证次梯度是单调的，如何保证最后可以收敛？

定理：如果 为凸函数，且满足Lipschitz continuous with G，如果固定步长为 ，那么次梯度算法满足：

证明：

对于 ， ，其中 。因此，我们可以展开下式为：

因为， ，且由凸函数一阶性质可得 ，上式不等式可以写为：

对于任意 ，求和上式可以获得：

因为， ，所以：

如果令 为迭代 次内的最优解，那么 ，其中， ，因此：

所以，我们可以得到