梯度下降 BGD,SGD,MBGD

梯度下降：

引入：当我们得到一个目标函数之后要对其进行求解。常规套路就是，交给机器一堆数据，并告诉他什么样的学习方式（目标函数），然后让他朝着这个方向去做。

优化：需要一步一步的完成迭代。

目标函数：

我们的目标就是找到θ0和θ1，是的目标函数的值尽可能的小。

如何找到目标函数的最小值：1.找到当前最适合的方向 2.一小步地走 3.按照方向和步伐去更新我们的参数。

梯度下降算法有哪些：

1.批量梯度下降（BGD）：每次考虑所有样本，容易得到最优解，但是计算量大。

2.随机梯度下降（SGD）：每次一个样本，速度快。但是每次计算不一定朝着收敛的方向。

3.小批量梯度下降(MBGD)：每次更新选择一小部分数据，实用！

学习率（步长）：

会对结果产生巨大的影响，一般选用小的学习率。