最速下降优化算法

最速下降优化算法

1、课后作业

2、前情提要

手写求解

代码求解

#最速下降优化算法
from sympy import*
import sympy
import math
from matplotlib import pyplot as plt
import numpy as np

def Obj(x1,x2):
    value=x1-x2+2*math.pow(x1,2)+2*x1*x2+math.pow(x2,2)
    return value
def Jac_x1(x1,x2):
    value=1+4*x1+2*x2
    return value
def Jac_x2(x1,x2):
    value=-1+2*x1+2*x2
    return value

def Error(x1,x2):
    value=math.sqrt(math.pow(x1,2)+math.pow(x2,2))
    return value


#指定初始值
Epsilon=0.01
#设定误差的初始值
X=[0,0]#x0
Direction=[-Jac_x1(X[0],X[1]),-Jac_x2(X[0],X[1])]#指定负梯度方向作为下降方向
t=sympy.symbols('t') # t是我们的步长
Temp_x=[X[0]+t*Direction[0],X[1]+t*Direction[1]]
z=diff(Temp_x[0]-Temp_x[1]+2*Temp_x[0]*Temp_x[0]+2*Temp_x[0]*Temp_x[1]+Temp_x[1]*Temp_x[1])
Lambda=sympy.solve(z) #求解最优步长，该步长使我们的函数下降最快
Current_error=Error(Jac_x1(X[0],X[1]),Jac_x2(X[0],X[1]))

#算法迭代部分
Value=[]
Minimum=Obj(X[0],X[1])
error=[]
lamb=[]
while Current_error > Epsilon:
    print("当前错误值:{}".format(Current_error))
    #保存数据
    error.append(Current_error)
    Value.append(Obj(X[0],X[1]))
    lamb.append(Lambda)
    # if Minimum>Obj(X[0],X[1]):
    #     Minimum=Obj(X[0],X[1])
    #     if(Minimum==-1.25):
    #         break
    #print(Minimum)
    #更新相关数据 
    temp1=X[0]+Lambda[0]*Direction[0]
    temp2=X[1]+Lambda[0]*Direction[1]
    X[0]=temp1
    X[1]=temp2
    #X=[X[0]+Lambda*Direction[0],X[1]+Lambda*Direction[1]]#算法核心迭代部分，更新点
    Direction=[-Jac_x1(X[0],X[1]),-Jac_x2(X[0],X[1])] #更新方向向量
    Temp_x=[X[0]+t*Direction[0],X[1]+t*Direction[1]]
    z=diff(Temp_x[0]-Temp_x[1]+2*Temp_x[0]*Temp_x[0]+2*Temp_x[0]*Temp_x[1]+Temp_x[1]*Temp_x[1])
    Current_error=Error(Jac_x1(X[0],X[1]),Jac_x2(X[0],X[1]))
    Lambda=sympy.solve(z) #更新Lambda
print("最小值是：{}".format(Obj(X[0],X[1])))
print("迭代次数是：{}".format(len(Value)))
print("最小值点是：",X)

# plt.plot(Value)
# plt.title("x1 x2坐标")
# plt.xlabel("The number of iteration")
# plt.ylabel("The value of function")
# fig=plt.figure()
# plt.plot(error)
# plt.title("The changes of error")
# plt.xlabel("The number of iteration")
# plt.ylabel("The value of error")

# plt.show()

结果显示

当前错误值:1.4142135623730951
当前错误值:1.4142135623730951
当前错误值:0.28284271247461906
当前错误值:0.28284271247461906
当前错误值:0.0565685424949238
当前错误值:0.0565685424949238
当前错误值:0.01131370849898476
当前错误值:0.01131370849898476
最小值是：-1.24999680000000
迭代次数是：8
最小值点是： [-624/625, 936/625]

与手算结果一致