2023.8.25线性回归----梯度下降

1.目标函数
J(k1,k2)=(1/2m)Σ（hk(x^(i))-y(i))

2.寻找山谷的最低点，也就是目标函数终点

3.下山步骤（更新参数）
（1）找到当前最合适的方向
（2）走一小步，走快就跌倒了。
（3）按照方向与步伐更新参数

公式建议大家还是看看课本，markdown打公式太麻烦了

4.梯度下降
（1）批量梯度下降：容易得到最优解，但是每次考虑所有样本，所以速度很慢。
(2)随机梯度下降：每次找一个样本，迭代速度快，但不一定每次都朝着收敛的方向。
（3）小批量梯度下降：每次更新选择一小部分数据来算，实用。

5.梯度下降
（1）学习率（步长）：对结果会产生巨大的影响，一般选小一些
（2）如何选择：从小的时候，不行再小
（3）批处理数量：32,64,128都可以 ，很多时候还得考虑内存和效率。