线性回归模型 Linear Models for Regression

线性回归模型理解

线性回归模型

找到一条连续的线（线性方程），能够最大程度的拟合所有的点

• 如果点是二维，那么就只有$y,x_1$
• 如果是三维，那么有$y,x_1,x_2$
• 以此类推
• 也可以让$x_1=w_2=w_M$。即，并不严格限制方程中的$x$与数据点的维度数量对应。
  
  其中Basis function可以是多项式，高斯函数，Sigmoid函数等
  
  只要找到一组参数（也就是线性方程每一项上的系数，即$w_M$）能让损失函数的值最小，那这一组参数就能最好的拟合当前的训练数据

最大程度拟合

使损失函数最小

损失函数

所有点的输出和预期输出相减的平方和（系数只是为了后面方便计算）

如何找到损失函数最小值

如果损失函数为凸函数，那么根据凸函数的定义可知，任何局部最小值都是整个凸函数的最小值。

• 将所有点代入函数，得到最终的损失函数方程。
• 对损失函数各轴求偏导数，使偏导数为0，得到方程组
• 对方程组求解，得到所有系数$w_M$
• 将系数代入原方程，得到最佳拟合方程。

计算公式

• 选择basis function $\varphi (x)$
• 选择basis function 的数量 n
• 计算$w$，公式如下：
  
• $\Phi$表示${\varphi }_i(x)$的值构成的矩阵