梯度下降法、牛顿法、二分法求根号a的求解思路

假设问题为:

求根号下2,即要求x^2 - 2 = 0 的根,设其为一个函数,求为0的情况.

1.梯度下降法

对函数平方构建损失函数,防止负数情况:

对其求导有:

设置一个迭代步长a,则迭代关系如下:

从任意一点开始,逐步迭代即可.

2.牛顿法

将误差函数在某个已知的x_0点处展开为泰勒级数:

 取其线性部分(前两项)为近似,求其为0时的x:

有:

 则迭代关系为:

对于本例子,假设初值为4,迭代过程如下:

( 4 + 2/ 4 ) / 2 = 2.25

( 2.25 + 2/ 2.25 ) / 2 = 1.56944…

( 1.56944…+ 2/1.56944…) / 2 = 1.42189…

( 1.42189…+ 2/1.42189…) / 2 = 1.41423…

….

3.二分法

比较简单,找左右两个数left和right,使其带入目标函数后一个大于0,一个小于0 .

取(left+right)/2,判断0点在哪个区间内,更新(left,right)区间,一直迭代即可