【机器学习算法】最小二乘法(Least Square Method)

最小二乘法(Least Square Method)

1. 简介

原理:最小误差平方和

应用:

  1. 做插值时可用,即求未知数据,并且使得这些数据与实际数据的平方和最小。
  2. 曲线拟合。
  3. 最小化能量/最大化熵解决优化问题。

通过几何中,点和线描述:

  1. 已知多条近似交汇于一个点的直线,求解一个近似交点,即寻求一个距离所有直线距离平方和最小的点,该点为即为最小二乘的解。
  2. 已知多个近似分布于同一直线上的点,求解出一条直线,并使得所有点到直线上的距离平方和最小。满足这个条件的直线参数:斜率和截距,就是最小二乘法的解。

函数介绍:

1. numpy.ploy1d(arrary,bool,variable)

  • 参数arrary:输入一个数组,表示多项式的系数(coefficient)。
  • 参数bool:当bool=True时,将数组中的值作为根。
  • 参数variable:改变未知数的字母。
import numpy as np
w = [1, 2, 3, 4]
f1 = np.poly1d(w)
f2 = np.poly1d(w, True)
f3 = np.poly1d(w, False, 'z')
print(f1)
print(f2)
print(f3)

【机器学习算法】最小二乘法(Least Square Method)_第1张图片

2. scipy.optimize.leastsq()

leastsq(func, 
        x0,
        args=(),
        Dfun=None,
        full_output=0,
        col_deriv=0,
        ftol=1.49012e-08,
        xtol=1.49012e-08,
        gtol=0.0,
        maxfev=0,
        epsfcn=0.0,
        factor=100,
        diag=None,
        warning=True)

在optimize模块中,使用leastsq()函数可以很快速地使用最小二乘法对数据进行拟合。一般来说,我们只需要前三个参数就够了他们的作用分别是:

  • func:误差函数
  • x0:表示函数的参数
  • args()表示数据点

2.实例

前提假设:

目标函数:y=sinx

损失函数:loss = y'-y

'''最小二乘法'''
# _*_ coding: utf-8 _*_

import numpy as np  # 引入numpy
import scipy as sp
import pylab as pl
from scipy.optimize import leastsq  # 引入最小二乘函数
n = 9 # 多项式次数
# 目标函数
def real_func(x):
    return np.sin(2 * np.pi * x)
# 多项式函数
def fit_func(p, x):
    f = np.poly1d(p)
    return f(x)
# 残差函数
def residuals_func(p, y, x):
    ret = fit_func(p, x) - y
    return ret

x = np.linspace(0, 1, 9)  # 随机选择9个点作为x
x_points = np.linspace(0, 1, 1000)  # 画图时需要的连续点
y0 = real_func(x)  # 目标函数
y1 = [np.random.normal(0, 0.1) + y for y in y0]  # 添加正太分布噪声后的函数
p_init = np.random.randn(n)  # 随机初始化多项式参数
plsq = leastsq(residuals_func, p_init, args=(y1, x))
print('Fitting Parameters: ', plsq[0])  # 输出拟合参数
pl.plot(x_points, real_func(x_points), label='real')
pl.plot(x_points, fit_func(plsq[0], x_points), label='fitted curve')
pl.plot(x, y1, 'bo', label='with noise')
pl.legend()
pl.show()

【机器学习算法】最小二乘法(Least Square Method)_第2张图片

从结果图中观察可得出结论:过拟合

优化方法:

1.调整拟合函数的项数。实验后得到当n=4时,可以得到适当的拟合函数。

2.优化损失函数,通过加上正则化项,来降低过拟合现象。

regularization = 0.001  # 正则化系数lambda  

# 残差函数  
def residuals_func(p, y, x):  
    ret = fit_func(p, x) - y  
    ret = np.append(ret, np.sqrt(regularization) * p)   # 将lambda^(1/2)p加在了返回的array的后面  
    return ret  

注意:当系数lambda过大时,会出现欠拟合现象。

 

你可能感兴趣的:(机器学习,python)