多项式回归
前面我们学习过线性回归，线性回归模型需要假设数据背后存在线性关系。
而实际中，有线性关系的数据集比较少，更多的数据之间是非线性关系。进而——多项式回归产生。
其实多项式回归完全是线性回归的思路，只是相当于在原来的数据上增加了二次项、三次项、...等更高次的多项式特征项，然后用线性回归求解。
下面以一个例子来感受一下多项式回归，首先生成模拟数据集：
import numpy as np
import matplotlib.pyplot as plt
x = np.random.uniform(-3,3,size=100)
X = x.reshape(-1,1)
y = 0.5 * x**2 +x +2 +np.random.normal(0,1,size=100)
plt.scatter(x,y)
plt.show()
大致符合二次曲线，加入了人工的高斯噪声，图示如下：
首先用线性回归模型求出回归方程，并作出回归方程：
'''线性回归'''
from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(X,y)
y_predict = lin_reg.predict(X)
plt.scatter(x,y)
plt.plot(x,y_predict,color='r')
plt.show()
回归方程图示：
从图中可以明显看出，线性回归的效果在该数据集上不够好，有没有解决办法呢？那就是添加一个原特征的二次方项特征，然后对这两个特征做线性回归，这就是最简单的多项式回归，这里我们已经知道数据符合二次分布了，实际中的数据可能要用到更高次幂的多项式特征：
X2 = np.hstack([X,X**2])
lin_reg2 = LinearRegression()
lin_reg2.fit(X2,y)
y_predict2 = lin_reg2.predict(X2)
plt.scatter(x,y)
plt.plot(np.sort(x),y_predict2[np.argsort(x)],color='r')#有序排序后绘制曲线
plt.show()
添加二次项后的回归结果：
此时的回归结果已经好很多，我们可以查看回归系数：
和真实数据的系数和截距是吻合的。
scikit-learn中的多项式回归和pipeline
添加多项式特征
现在来看一下sklearn中的多项式回归，实际上sklearn并没有为多项式回归封装类，只是可以为它方便生成带多项式特征的数据集，然后再用线性回归求解：
from sklearn.preprocessing import PolynomialFeatures
'''添加最多degree次幂特征'''
poly = PolynomialFeatures(degree=2)
poly.fit(X)
X2 = poly.transform(X)
X2.shape //out:(100,3)
X2[:5,:]
可以看到sklearn添加多项式特征后，自动为我们补了一列1，这相当于x的0次幂，这样求得的系数里会有0。
from sklearn.linear_model import LinearRegression
lin_reg2 = LinearRegression()
lin_reg2.fit(X2,y)
lin_reg2.coef_
求解结果:
求解结果和我们添加二次特征后求解结果一样。
sklearn中的pipeline
从上面看来好像每次使用多项式回归都需要先加入多项式特征，然后实际中往往还要对数据进行归一化，最后再使用线性回归求解，这样繁琐的过程很容易让人蒙圈。为此:sklearn为我们提供了一个叫pipeline的类，这个类可以很方便地将多个步骤封装到一块，按照pipeline里我们定义的顺序执行:
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
'''传入步骤对应的类'''
poly_reg = Pipeline([
("poly",PolynomialFeatures(degree=2)),
("std_scaler",StandardScaler()),
("lin_reg",LinearRegression())
])
上面我们就定义了一个pipeline，里面就是多项式回归的三个步骤:添加特征，归一化，线性回归求解。下面求解此模型
'''沿着pipeline顺序执行'''
x = np.random.uniform(-3,3,size=100)
X = x.reshape(-1,1)
y = 0.5 * x**2 +x +2 +np.random.normal(0,1,size=100)
poly_reg.fit(X,y)
y_predict = poly_reg.predict(X)
plt.scatter(x,y)
plt.plot(np.sort(x),y_predict[np.argsort(x)],color='r')#有序排序之后绘制曲线
plt.show()
求解结果图示:
可以看到定义好pipeline之后，看起来好像一个步骤就能求解了。
本篇主要是多项式回归的介绍，和PCA相比，PCA要实现数据降维，而多项式回归则是要对数据升维，这是机器学习中很重要的数据处理思想。具体是升维还是降维要针对不同数据集。