梯度下降 BGD,SGD,MBGD

梯度下降:

引入:当我们得到一个目标函数之后要对其进行求解。常规套路就是,交给机器一堆数据,并告诉他什么样的学习方式(目标函数),然后让他朝着这个方向去做。

优化:需要一步一步的完成迭代。


目标函数:


我们的目标就是找到θ0和θ1,是的目标函数的值尽可能的小。

梯度下降 BGD,SGD,MBGD_第1张图片

如何找到目标函数的最小值:1.找到当前最适合的方向 2.一小步地走 3.按照方向和步伐去更新我们的参数。

梯度下降算法有哪些:

1.批量梯度下降(BGD):每次考虑所有样本,容易得到最优解,但是计算量大。

2.随机梯度下降(SGD):每次一个样本,速度快。但是每次计算不一定朝着收敛的方向。

3.小批量梯度下降(MBGD):每次更新选择一小部分数据,实用!


学习率(步长):

会对结果产生巨大的影响,一般选用小的学习率。

梯度下降 BGD,SGD,MBGD_第2张图片

你可能感兴趣的:(编程,梯度下降,SGD,GD)