次梯度与次微分

次梯度与次微分

为了看懂为什么在logistic regression 里面加上正则化可以约束待估计的参数的稀疏性,需要对凸优化方法里面的部分知识,现在记录一下这方面的内容

既然是凸优化,首先就要有一个凸函数,看下面的定义

是一个凸函数,并且 是一个凸集。如果f是可微的,那么可以得到下面的表达式:

其中, ,表示在的微分,可以看出,不等式右边其实就是普通的一阶微分的近似表示,那么肯定会有误差,如果误差等于0,那么取到等号

对不可微的情况下,我们同样可以构造一个表达式来近似真实情况,见下式子:

其中,向量 就叫做次梯度

对于一个给定的点,可能不止一个这样的次梯度存在,而是一个次梯度的集合,这样的集合就叫做次微分,表示为:

注意,如果微分存在的情况下,这样的次微分集合只包含一个元素,就是该点的梯度值,也就是蜕化为正常的梯度方式,所以说这是梯度的一种扩展

对次梯度表达式做一个变形可以得到

这个变形可以用来快速估计一些简单函数的次微分,比如一个一维函数

由于

自此可以看出,有界,因此有

这里写下一些次微分的一些性质

  • 在x附近是非空并且有限的,如果函数是凸函数
  • 是紧凸集(closed convex set)
  • 等价于是可微的并且
  • 尺度变换性
  • 可加性

假定我们有一个凸函数:我们的目标是求:

如果函数是可微的,那么最值就是求函数的梯度为0的取值

如果函数不可微的,那么最值的条件就是如下的形式

我们看看不可微条件下的最值条件是怎么得来的,还是从次梯度的定义开始,令可以得到

可以看出,最小值是在次梯度向量为0的时候取得,这就提供了一种方法,在某些不可微的情况下,对凸函数可以用次梯度去代替梯度进行梯度下降学习算法


参考文章:

http://select.cs.cmu.edu/class/10725-S10/recitations/r7/Subgradients.pdf


你可能感兴趣的:(凸优化,次梯度,次微分,凸函数,正则化证明)