#花树学习#算法复现#梯度优化#范数矩阵

@花树-第4章梯度优化P62页

待优化公式

首先计算该梯度：

然后得到梯度优化的算法流程：

我这里设置矩阵A为（2X2）大小，X为（2X1），b为（2X1），这样是因为可以画出图片因此观察较明显。然后就是简单的复现：

附上代码：

# -*- coding: utf-8 -*-
"""
Created on Thu Oct 13 20:20:46 2022

@author: dell
"""

import numpy as np
import matplotlib.pyplot as plt


plt.rcParams['font.sans-serif']=['SimHei'] #　显示中文
plt.rcParams['axes.unicode_minus']=False #显示正负号


A = np.random.rand(2,2)
#X = np.random.randint(0,4,(3,1))
X = np.random.rand(2,1)
b = np.random.randint(0,2,(2,1))

df = np.dot( np.dot(A.T , A) , X) - np.dot(A.T , b)

error = 0.003
a = 0.005
error_1=np.linalg.norm(x=df,ord=2)
y = []
bb = []

while error_1 > error:
    df = np.dot( np.dot(A.T , A) , X) - np.dot(A.T , b)
    error_1=np.linalg.norm(x=df,ord=2)
    X = X- a * df
    y.append(error_1)
    bb.append(X)
    print(error_1,'\n',X)

x_1 = [float(i[0]) for i in bb]
x_2 = [float(i[1]) for i in bb]


plt.figure()


ax = plt.axes(projection='3d')
ax.plot3D(x_1, x_2, y, 'gray')
plt.show()

结果图

注意每次的结果图是不一样的，因为我对矩阵A，和向量b的取值是随机的。程序后有输出结果，分别是当前误差的输出和当前X的取值（x1,x2）