梯度下降法

梯度下降算法的思想是:先任取点(x0,f(x0)),求f(x)在该点x0的导数f"(x0),在用x0减去导数值f"(x0),计算所得就是新的点x1。然后再用x1减去f"(x1)得x2…以此类推,循环多次,慢慢x值就无限接近极小值点。
像一个眼神不好的人下山,不知道大方向下那一条路最优,只能在学习率的范围里慢慢试探。终于,经过一阵子(足够迭代)之后,实现了下山的行为。

梯度下降法_第1张图片

 梯度下降法_第2张图片

 

你可能感兴趣的:(算法)