利用梯度下降法和牛顿法求开方

假如现在要求的是根号2
即 $x^2=2$的解

使用梯度下降法

梯度下降主要通过求梯度为0的点，得到凸函数的全局最小值。
首先构建损失函数为凸函数的目标函数, 使得目标函数的最小值对应的是我们要求的值
由 $$x^2=2$$
我们可以构建一个损失函数
$$L=(x^2-2{)}^2$$
这里为什么不直接用$x^2-2$是因为其最小值对应的x不是我们要求的x.
构建了损失函数以后，就可以用梯度下降法来求全局最优的x的值，即为我们要求的根号2的值。
$$g(x)=dL/dx=4x^3-8x=4x\left(x^2-2\right)$$
$$x_{n+1}=x_n-ag\left(x_n\right)（1）$$
给x一个初始值，然后不断通过1式来更新x就可以逐渐逼近最优的x

python 实现

def gradient_descent(n):
    x = float(random.randint(1, 100))
    array = []
    while (abs(x ** 2 - n) > 0.0001):
        x = x - 0.00001 * 4 * x * (x ** 2 - n)
        array.append(x)
    return array

n=10
array = gradient_descent(n)
x = range(len(array))
plt.plot(x, array, color='b')
plt.show()
import math
print(math.sqrt(n), array[-1])

使用牛顿法

牛顿法的一大用处就是求方程的根。
对于方程
$$f(x)=x^2-2$$
$f(x)$进行一阶泰勒展开后得
$$f(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)$$
另 $f(x)$等于0得
$$f(x_0)+f^{\prime }(x_0)(x-x_0)=0$$
可推出
$$x_{n+1}=x_n-\frac{f\left(x_n\right)}{f^{\prime }\left(x_n\right)}$$
这样就得到的x的迭代式

import random
import matplotlib.pyplot as plt
import math
def Newton(n):
    array = []
    x = float(random.randint(1, 100))
    while(abs(x**2 - n) > 0.000000001):
        x = x - (x**2 - n ) / (2*x)
        array.append(x)
    return array

n=10
array = Newton(n)
x = range(len(array))
plt.plot(x, array, color='b')
plt.show()
print(math.sqrt(n), array[-1])