梯度下降法--python实现

梯度下降是迭代法的一种，可以用于求解最小二乘问题，不是一个机器学习算法，而是一种基于搜索的最优化方法。在求解无约束优化问题时，梯度下降法是最常用的一种方法之一，最小二乘法也是一种。

在直线方程中，导数代表斜率。在曲线方程中，导数代表切线斜率。切线斜率∇wJ的正负，也代表函数增大的方向。设-η∇wJ，η称为学习率，影响获得最优解的速度，当取值不适当时，得不到相应的值。它是一个超参数。
η太小时，降低收敛的速度，η太大时，可能导致不收敛。

def J(theta):
    return (theta-2.5)**2 -1

def dJ(theta):
    return 2*(theta-2.5)

theta_history = []

def grandient_descent(inital_theta,eta,esplison):
    
    theta = inital_theta
    theta_history.append(inital_theta)
   
    while True:
        last_theta = theta
        theta = theta - eta*dJ(theta)
        theta_history.append(theta)
        if abs(J(theta)-J(last_theta)) < 0.0008:
            break
            
def plot_theta_history():
    plt.plot(plot_x,J(plot_x))
    plt.plot(np.array(theta_history),J(np.array(theta_history)),color="r",marker="+")
    plt.show()