线性回归模型 Linear Models for Regression

线性回归模型理解

线性回归模型

找到一条连续的线(线性方程),能够最大程度的拟合所有的点

  • 如果点是二维,那么就只有 y , x 1 y,x_1 y,x1
  • 如果是三维,那么有 y , x 1 , x 2 y,x_1,x_2 y,x1,x2
  • 以此类推
  • 也可以让 x 1 = w 2 = w M x_1=w_2=w_M x1=w2=wM。即,并不严格限制方程中的 x x x与数据点的维度数量对应。
    在这里插入图片描述
    其中Basis function可以是多项式,高斯函数,Sigmoid函数等
    线性回归模型 Linear Models for Regression_第1张图片
    只要找到一组参数(也就是线性方程每一项上的系数,即 w M w_M wM)能让损失函数的值最小,那这一组参数就能最好的拟合当前的训练数据

最大程度拟合

使损失函数最小

损失函数

所有点的输出和预期输出相减的平方和(系数只是为了后面方便计算)
在这里插入图片描述

如何找到损失函数最小值

如果损失函数为凸函数,那么根据凸函数的定义可知,任何局部最小值都是整个凸函数的最小值。

  • 将所有点代入函数,得到最终的损失函数方程。
  • 对损失函数各轴求偏导数,使偏导数为0,得到方程组
  • 对方程组求解,得到所有系数 w M w_M wM
  • 将系数代入原方程,得到最佳拟合方程。

计算公式

  • 选择basis function ϕ ( x ) \phi(x) ϕ(x)
  • 选择basis function 的数量 n
  • 计算 w w w,公式如下:
    在这里插入图片描述
  • Φ \Phi Φ表示 ϕ i ( x ) \phi_i(x) ϕi(x)的值构成的矩阵
    线性回归模型 Linear Models for Regression_第2张图片
    在这里插入图片描述
    线性回归模型 Linear Models for Regression_第3张图片

你可能感兴趣的:(机器学习)