【深度学习笔记】随机梯度下降法

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记,视频由网易云课堂与 deeplearning.ai 联合出品,主讲人是吴恩达 Andrew Ng 教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习,视频的链接如下:

神经网络和深度学习 - 网易云课堂

也欢迎对神经网络与深度学习感兴趣的网友一起交流 ~

目录

1 Mini-batch

2 随机梯度下降法


1 Mini-batch

        常规的梯度下降法,在大数据集基础上的训练速度通常很慢。使用 Mini-batch 优化方法,可以提高神经网络训练的效率。

        之前提到的向量化技巧,使深度学习算法能高效地处理 m 个样本。但是如果 m 很大的话,处理速度仍然很慢,比如说,m 是 500 万或 5000 万。

【深度学习笔记】随机梯度下降法_第1张图片

        在使用梯度下降法时,每一步迭代必须处理训练集中的所有样本,然后才能进行下一步迭代。也就是,在某一次的迭代过程中,神经网络算法处理了完整的 500 万个训练样本,然后下一次迭代又需要重新处理 500 万个样本。

【深度学习笔记】随机梯度下降法_第2张图片

        现在换一种方法,把训练集划分为许多子训练集,这些子训练集叫做 Mini-batch。假设总样本有 500 万个,每个 Mini-batch 包含 1000 个样本,那么你将有 5000 个 Mini-batch。

2 随机梯度下降法

        在训练集上使用 Mini-batch 梯度下降法,处理过程如下:

【深度学习笔记】随机梯度下降法_第3张图片

        使用 Batch 梯度下降法时,每次迭代都需要遍历整个训练集,成本函数的值随着迭代次数的增加而下降。然而使用 Mini-batch 梯度下降法时,如果你绘制出成本函数随迭代次数的变化曲线,你会发现并不是每次迭代都会下降。

【深度学习笔记】随机梯度下降法_第4张图片

         如果 Mini-batch 的大小是 m,其实就是 Batch 梯度下降法,Mini-batch 等于整个训练集;

如果 Mini-batch 的大小是 1,就有了新的算法——随机梯度下降法(Stochastic gradient descent)。在随机梯度下降法中,每个样本都是独立的 Mini-batch。

 

【深度学习笔记】随机梯度下降法_第5张图片

       

        在随机梯度下降法中,成本函数值的下降过程比较缓慢,且存在较多的噪声,即有时候朝着远离全局最小值的方向前进。不过平均来看,随机梯度下降法最终会接近全局最小值。

【深度学习笔记】随机梯度下降法_第6张图片

 

你可能感兴趣的:(【深度学习笔记】,深度学习,笔记,人工智能)