【MachineLearning】之 多项式回归（理论）

Topic:

1. 多项式回归简介
2. 多项式拟合
3. 多项式特征矩阵

之前学习了 线性回归，那么多项式回归又是什么呢？

一、多项式回归简介

---

在线性回归中，我们通过建立自变量 x 的一次方程来拟合数据

而非线性回归中，则需要建立因变量和自变量之间的非线性关系。

从直观上讲，也就是拟合的直线变成了「曲线」。

对于非线性回归问题而言，最常见的便是「多项式回归」

多项式： x3−2xyz2+2yz+1 x 3 − 2 x y z 2 + 2 y z + 1

二、多项式拟合

---

一元高阶多项式函数：

y(x,w)=w0+w1x+w2x2+...+wmxm=∑j=0mwjxj(1) (1) y ( x , w ) = w 0 + w 1 x + w 2 x 2 + . . . + w m x m = ∑ j = 0 m w j x j

其中， m m 表示多项式的阶数， xj x j 表示 x x 的 j j 次幂， w w 则代表该多项式的系数。

当我们使用上面的多项式去拟合散点时，需要确定两个要素，分别是：多项式系数 w w 以及多项式阶数 m m

可以看到当 m=8 时，曲线呈现出明显的震荡，这就是过拟合（overfitting）

那什么是过拟合？过拟合不好吗？

过拟合：由于学习能力过于强大，以至于把训练样本所包含的不太一般的特性学到了。

过拟合不好？ 因为只是把潜在样本的特征考虑进去了，并没有增强学习能力。

三、多项式特征矩阵

---

多项式回归相当于线性回归的特殊形式。

比如：一元二次多项式： y=w0+w1x+w2x2 y = w 0 + w 1 x + w 2 x 2

将其转换为： y=w0+w1∗x1+w2∗x2 y = w 0 + w 1 ∗ x 1 + w 2 ∗ x 2 （ x=x1 x = x 1 x2=x2 x 2 = x 2 ）
这样就变成了多元线性回归。

这样就实现了 一元高次多项式到多元一次多项式之间的转换

之前，我们通过 y=wx+b y = w x + b 线性回归模型进行拟合。
同样， y=w0+w1x+w2x2 y = w 0 + w 1 x + w 2 x 2 ，若能得到由 x=x1,x2=x2 x = x 1 , x 2 = x 2 构成的特征矩阵，那也就可以通过线性回归进行拟合了。