机器学习：梯度下降法实现多项式对数据的拟合

待拟合曲线为，noise为引入的噪声：

现在打算用一个多项式来拟合这个函数：

损失计算采用平方损失函数：

各个权重的偏导容易计算得出为：

代码如下：

import numpy as np
import matplotlib.pyplot as plt


def init_data():
    # 待拟合曲线f(x)=cos2x*[(x^2-1)^3+0.5]
    xdata = np.arange(-1, 1, 0.01)
    y = [((x ** 2 - 1) ** 3 + 0.5) * np.cos(2 * x) for x in xdata]
    ydata = []
    for i in range(len(y)):
        # 噪声（-0.1，0.1）
        noise = np.random.randint(low=-10, high=10) / 100
        ydata.append(y[i] + noise)
    return xdata, ydata


def loss(x, y, w):
    error = 0.0
    # 这里使用的是平方损失函数，对应上述公式还是很好理解的
    # 这里对每个x的误差都累计起来
    for i in range(len(x)):
        yl = 0.0
        for k in range(len(w)):
            yl += w[k] * x[i] ** k
        error += (yl - y[i]) ** 2
    return error


def gradient_descent(xdata, ydata, pow, epoch=1000, learning_rate=0.001):
    '''
    :param xdata: x数据
    :param ydata: y数据
    :param pow: 拟合多项式的幂
    :param epoch: 迭代次数
    :param learning_rate: 学习率
    :return: 权重系数
    '''
    # 权重初始化为0
    w = [0.0] * pow
    for r in range(epoch):
        for k in range(len(w)):
            gradient = 0.0
            for i in range(len(xdata)):
                yl = 0.0
                for j in range(len(w)):
                    yl += w[j] * x[i] ** j
                # 当前权重的平方损失的梯度
                gradient += -2 * (ydata[i] - yl) * xdata[i] ** k
            w[k] = w[k] - gradient * learning_rate
        if r % 100 == 0:
            error = loss(xdata, ydata, w)
            print("epoch:{}, loss:{}".format(r, error))
    return w


x, y = init_data()
w = gradient_descent(x, y, 10)

xpredict = np.arange(-1, 1, 0.01)
ypredict = []

for i in range(len(xpredict)):
    yl = 0.0
    for j in range(len(w)):
        yl += w[j] * xpredict[i] ** j
    ypredict.append(yl)

plt.scatter(x, y)
plt.plot(xpredict, ypredict)
plt.show()