2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)

MINI-BATCH

实际训练中,数据集过于庞大,需要拆分成一个个小的子训练集。

mini-batch梯度下降:选用子训练集进行梯度下降;

  • batch梯度下降:选用整个数据集进行梯度下降;mini-batch 的大小为 m(数据集大小);
  • 随机梯度下降:选用一个样本当做一个子训练集进行梯度下降;mini-batch 的大小为 1;

术语-epoch:对整个训练集进行了一次梯度下降

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第1张图片

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第2张图片

两个极端例子,对比MINI-BATCH:

训练神经网络的目的:找到一组参数w、b使成本函数J最小。

若下面这个图是成本函数,它中间的点就是最小值处。

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第3张图片

batch 梯度下降法:

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第4张图片

  • 对所有 m 个训练样本执行一次梯度下降,每一次迭代时间较长,训练过程慢
  • 相对噪声低一些,幅度也大一些;迈的步子大;
  • 成本函数总是向减小的方向下降;方向正确;

随机梯度下降法:

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第5张图片

  • 对每一个训练样本执行一次梯度下降,训练速度快,但丢失了向量化带来的计算加速
  • 有很多噪声,减小学习率可以适当;(路途忐忑,步子小,可能还会迷失方向
  • 成本函数总体趋势向全局最小值靠近,但永远不会收敛,而是一直在最小值附近波动

mini-batch梯度下降法:

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第6张图片

因此,选择一个1 < size < m的合适的大小进行 Mini-batch 梯度下降,可以实现方向准确、步子较大,也应用了向量化带来的好处。

mini-batch梯度下降时,成本是波荡起伏的

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第7张图片

因为某个子集中,可能错误案例比较多,导致了J偏高。但总体趋势还是J走向最低。

mini-batch 的不同大小(size)也是一个超参数

  • 如果训练样本的大小比较小,如 m ⩽ 2000 时,选择 batch 梯度下降法;
  • 如果训练样本的大小比较大,选择 Mini-Batch 梯度下降法。为了和计算机的信息存储方式相适应,代码在 mini-batch 大小为 2 的幂次时运行要快一些。典型的大小为 2626、2727、...、2929;
  • mini-batch 的大小要符合 CPU/GPU 内存。

mini-batch 的大小也是一个重要的超变量,需要根据经验快速尝试,找到能够最有效地减少成本函数的值。

指数加权平均

直观理解:

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第8张图片

# β看成K也行

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第9张图片

w==温度:w1==第一天的温度,w2==第二天的温度

v==我们最终求的趋势值:v1表示第一天的值,v2表示第二天的值
2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第10张图片
从上面的算法我们可以看出,当天的趋势值 = k * 前一天的趋势值 + (1-k) * 当天的温度

前一天的趋势值  代表 1 / (1-k)天的 近似的趋势值  (不是平均值)

给定一个时间序列,例如伦敦一年每天的气温值,图中蓝色的点代表真实数据。

对于一个即时的气温值,取权重值 k 为 0.9,根据求得的值可以得到图中的红色曲线,(受到最近10天的影响比较大)

当取权重值 k=0.98 时,可以得到图中更为平滑的绿色曲线。(受到最近50天的影响比较大)

而当取权重值 k=0.5 时,得到图中噪点更多的黄色曲线。(受到最近2天的影响)

曲线反映了气温变化的大致趋势。

β 越大相当于求取平均利用的天数越多,曲线自然就会越平滑而且越滞后。

# 类似于K线的MA,但是k线是rolling().mean(),是简单的K线求平均。我们算的是加权MA,离现在近的数值,则权重大。

# MA中,若K线MA的参数60,则如果最近几根K线的暴涨暴跌,那么MA不会太敏感,他会计算最近60根的mean

深入理解:

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第11张图片

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第12张图片

9^ 1  ==  0.9
9^ 2  ==  0.81
9^ 3  ==  0.7290000000000001
9^ 4  ==  0.6561
9^ 5  ==  0.5904900000000001
9^ 6  ==  0.531441
9^ 7  ==  0.4782969000000001
9^ 8  ==  0.4304672100000001
9^ 9  ==  0.3874204890000001
9^ 10  ==  0.3486784401000001
9^ 11  ==  0.31381059609000006
9^ 12  ==  0.2824295364810001
9^ 13  ==  0.2541865828329001
9^ 14  ==  0.2287679245496101
9^ 15  ==  0.20589113209464907
9^ 16  ==  0.18530201888518416
9^ 17  ==  0.16677181699666577
9^ 18  ==  0.15009463529699918
9^ 19  ==  0.13508517176729928
9^ 20  ==  0.12157665459056935
9^ 21  ==  0.10941898913151242
9^ 22  ==  0.09847709021836118
9^ 23  ==  0.08862938119652507
9^ 24  ==  0.07976644307687256
9^ 25  ==  0.0717897987691853
9^ 26  ==  0.06461081889226677
9^ 27  ==  0.058149737003040096
9^ 28  ==  0.05233476330273609
9^ 29  ==  0.047101286972462485
9^ 30  ==  0.04239115827521624
9^ 31  ==  0.038152042447694615
9^ 32  ==  0.03433683820292515
9^ 33  ==  0.030903154382632636
9^ 34  ==  0.027812838944369374
9^ 35  ==  0.025031555049932437
9^ 36  ==  0.022528399544939195
9^ 37  ==  0.020275559590445275
9^ 38  ==  0.01824800363140075
9^ 39  ==  0.016423203268260675
9^ 40  ==  0.014780882941434608
9^ 41  ==  0.013302794647291146
9^ 42  ==  0.011972515182562033
9^ 43  ==  0.01077526366430583
9^ 44  ==  0.009697737297875247
9^ 45  ==  0.008727963568087723
9^ 46  ==  0.00785516721127895
9^ 47  ==  0.007069650490151055
9^ 48  ==  0.00636268544113595
9^ 49  ==  0.005726416897022355
9^ 50  ==  0.00515377520732012

代码实现:

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第13张图片

# v是一个变量,只是 新的v = k * 旧的v + (1-k)wt

修正:

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第14张图片

若w1 == 40度,则算出来 v1 == 0.8度,趋势值v1 v2 以及前面几天 均无法反映 前面一段时间的温度水平。

修正方法:

计算后:

越往后,t的值就越大,即k越来越小,那么公式中的分母就越来越靠近1,因为后面vt不需要再修正了。

其实在实际开发中,我们都不会使用修正算法。因为只是前面一点点偏离而已,不伤大雅。

动量梯度下降

比"单纯的梯度下降"好;"指数加权平均"是基础;

# 这里的动量 指的是Momentum,是物理上的动量,是用的碗里小球的例子

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第15张图片

使用"一般的梯度下降":

会得到图中的蓝色曲线,它不会径直向着最小值前进(因为他根本不知道最小值在哪里),而且训练集中也可能有些错误的样本,所以方向也不可能百分之百很准,所以梯度下降的图像是曲折的。这种"折叠曲线的前进"比"两点之间直线最短"要效率低。
而且方向不准还导致了我们无法使用大的学习率,想快都快不了。因为如果我们使用大的学习率,那么曲线折叠的幅度会更大。下图中的紫色的线展示了用大的学习率后执行了两步,可以看出跑得更偏了,不仅不能快,反而会使学习效率下降。

使用"动量梯度下降":

如何让曲线折叠的幅度更小一些呢?—―使用指数加权平均算法。

首先我们还是像以前一样求出梯度dw和db,然后再使用指数加权算法求出Vdw和Vdb


2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第16张图片

红线的折叠幅度很小了,幅度小了不仅能更快找到最小值,而且还可以使用大的学习率,使学习速度更快。

指数加权平均中的k变量是一个超参数。在梯度下降中我们一般把它设为0.9。

RMSPROP

原理类似,

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第17张图片

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第18张图片

RMSProp 有助于减少抵达最小值路径上的摆动,并允许使用一个更大的学习率 α,从而加快算法学习速度。

Adam优化算法

很多优化算法都只能适用于某几类神经网络结构,无法通吃所有情况。

直到后来动量梯度下降的出现,发现它能适用于各种网络结构。

RMSprop又出现了,它也能被广泛应用于各种网络结构中。

后来又出现了Adam优化算法(tensorflow等框架,都内置实现了Adam算法),其实就是将动量梯度下降和RMSprop结合在一起而已。结合之后大家发现它在很多网络结构中都能表现得很出色。 

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第19张图片

# 偏差修正指的是前面起始的数据 进行修正

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第20张图片

超参数的选择

Adam 优化算法有很多的超参数,其中

  • 学习率 α:需要尝试一系列的值,来寻找比较合适的;
  • β1:常用的缺省值为 0.9;
  • β2:Adam 算法的作者建议为 0.999;
  • ϵ:不重要,不会影响算法表现,Adam 算法的作者建议为 10^−8;

β1、β2、ϵ 通常不需要调试。

学习率衰减

学习率r之前是固定的。其实让学习率r 随着时间 而慢慢地衰减 是有助于提升学习效率的.

为什么呢?假设我们将mini-batch的值设得很小(64),训练集越小,那么学习的方向就越容易偏离。

学习路线就有可能如下图一样,而且即使到了最小值处,也始终找不到最小值,而在它附近徘徊。

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第21张图片

如果让学习率随着学习的次数而慢慢地变小,那么就会出现下图的情况。最开始学习率还是很大,和上图一样。

慢慢地学习率会变小学习步进会变小。从下图可以看出这样一来就可以更加靠近最小值处,找到最小值了。

刚刚开始入门时,门外汉什么都不懂,所以可以大步的粗咯学习。随着学习越来越深入,那么就越需要静下心来慢慢地进行精致的学习。

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第22张图片

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第23张图片

假设我们将初始的学习率a0设置为0.2,将衰减率decayRate设为1,那么套入上面的公式,

在进行了一个epoch后,a就变成了0.1,在进行了两个epoch后, a变成了0.067,第三个epoch后,a变成了0.05...

随着epoch的次数越多,a越小。

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第24张图片

局部最优

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第25张图片

在多维图形中,完全没有路径通向全局最优的小坑,称之为“局部最优”

在多维图形中,在小坑处,某个维度虽然如上图所示,但是其他维度,仍然有路径通向全局最优,称之为“鞍点”。

“局部最优”的概率很低,不用担心;可能鞍点很多,也不足为虑。

2.2 优化算法(MINI-BATCH、指数加权平均、动量梯度下降、RMSPROP、Adam优化算法、学习率衰减、局部最优)_第26张图片

在“鞍点”或者“局部最优”的附近,比较“平稳”,斜率是0或者很小,要训练很长时间,才能在横向达到最小值,在竖向继续走,找寻全局最优。

  • 在训练较大的神经网络、存在大量参数,并且成本函数被定义在较高的维度空间时,困在极差的局部最优中是不大可能的;
  • 鞍点附近的平稳段会使得学习非常缓慢,而这也是动量梯度下降法、RMSProp 以及 Adam 优化算法能够加速学习的原因,它们能帮助尽早走出平稳段。

代码

https://gitee.com/bijingrui1997/deep_learning_notes/tree/master/2.2%20%E4%BC%98%E5%8C%96%E7%AE%97%E6%B3%95

你可能感兴趣的:(#,吴恩达-深度学习)