4.gitchat训练营-最常用的优化算法——梯度下降法

4.1.凸函数

        什么叫做凸函数？这个有一套严格的数学定义：某个向量空间的凸子集（区间）上的实值函数，如果在其定义域上的任意两点，有，则称其为该区间上的凸函数。

注意：此处说得凸函数对应英语中的Convex Function。在有些数学教材中（例如同济大学高等数学教材），把这种函数称为指凹函数，而把Concave Function称为凸函数，与这里的定义正好相反。

另外，也有些教材会把凸定义为上凸，凹定义为下凸。如果遇到一定要搞清楚具体“凸函数”这个词指的是什么。

        将这一定义用一元函数的形式，在二维坐标轴里表现出来，是这样的：

凸函数的一元函数形式

        如果自变量取值区间是整个实数域的话，那么可以想象这条曲线所有向下的弯儿里面有一个低到最低的，叫全局最小，而其他的弯儿，就叫做局部最小。

整个实数域的二维情况

        如果自变量本身是二维的（二元函数），则凸函数在三维空间中的图像是这样的：

凸函数的二元函数形式

        在三维空间中，我们要找的最小值就是最深的那个碗底儿（如果不止一个的话）。

4.2.梯度下降法

        学习的目标就是最小化目标函数的取值，而目标函数又是凸函数，那么学习的目标自然转化成了寻找某个凸函数的最小值。最常用的一种方法，叫做梯度下降法。
        先以一元函数为例。假设我们的目标函数是一个一元凸函数。这个函数本身我们已经知道了，那么只要给定一个自变量的取值，就一定能够得到相应的因变量的取值。那么我们可以采用如下步骤来获取其最小值：

梯度下降法

1. 随机取一个自变量的值;
2. 对应该自变量算出对应点的因变量值：；
3. 计算处目标函数的倒数；
4. 从开始，沿着该处目标函数导数的反方向，按一个指定的步长，向前“走一步”，走到的位置对应自变量取值为。换言之，在处的斜率；
5. 继续重复2-4，直至退出迭代（达到指定迭代次数，或近似收敛到最优解）。
           对应三维的情况，可以想象在一个很大的碗的内壁上放上一个小球，每次，我们都沿着当时所在点的切线方向（此处的切线方向是一个二维向量）向前走一步，直到走到碗底为止。

4.3.梯度下降的超参数

        上面讲了梯度下降法，其中的，又叫做步长，它决定了为了找到最小值点而尝试在目标函数上前进的步伐到底有多大。
        步长是算法自己学习不出来的，它必须由外界指定。这种算法不能学习，需要认为设定的参数，就叫做超参数。
        步长参数是梯度下降算法中非常重要的超参数。这个参数设置的大小如果不合适，很可能导致最终无法找到最小值点。
        比如下左图就是因为步幅太大，几个迭代后反而取值越来越大。改成右侧那样的小步伐就可以顺利找到最低点了。

步长的选取

        不过大步伐也不是没有优点。步伐越大，每一次前进得越多。步伐太小，虽然不容易“跨过”极值点，但需要的迭代次数也多，相应需要的运算时间也就越多。
        为了平衡大小步伐的优缺点，也可以在一开始的时候先大步走，当所到达点斜率逐渐下降——函数梯度下降的趋势越来越缓和——以后，逐步调整，缩小步伐。比如下图：

优化的步长

4.4.梯度下降的难点

        那是不是只要步伐合适，就一定能找到最小值点呢？也不一定。
        如果目标函数有多个极小值点，那么如果开始位置不妥，很可能导致最终是走到了一个局部极小值就无法前进了。比如下图的Postion1和position2。这种情况确实很难克服，是梯度下降算法的一大挑战。

进入局部最小值

        如果目标函数不能确定只有一个极小值，而获得的模型结果又不令人满意时，就该考虑是否是在学习的过程中，优化算法进入了局部而非全局最小值。
        这种情况下，可以尝试几个不同的起始点。甚至尝试一下大步长，说不定反而能够跨出局部最小值点所在的凸域。