机器学习（一）线性模型之多项式回归器

---

前言

线性回归模型有一个主要的局限性，那就是它只能把输入数据拟合成直线，而多项式回归模型通过拟合多项式方程来克服这类问题，从而提高模型的准确性。

---

一、特色

我在算法中使用了Pipeline，Pipeline可以将许多算法模型串联起来，比如将特征提取、归一化、分类组织在一起形成一个典型的机器学习问题工作流。主要带来两点好处：

1. 直接调用fit和predict方法来对pipeline中的所有算法模型进行训练和预测。
2. 可以结合grid search对参数进行选择。

二、详细步骤

import numpy as np
import matplotlib.pyplot as plt

# 在[-3,3]范围内生成x，使用y = 0.5 * x ** 2 + x + 3生成y的值。这样便制造了一个数据集
x = np.random.uniform(-3, 3, size=100)
y = 0.5 * x ** 2 + x + 3 + np.random.normal(0, 1, size=100)

x1 = x.reshape(-1, 1)
from sklearn.preprocessing import PolynomialFeatures

# 创建一个多项式回归器
plf = PolynomialFeatures(degree=3)

# Pipeline  Pipeline可以将许多算法模型串联起来，比如将特征提取、归一化、分类组织在一起形成一个典型的机器学习问题工作流。
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression

poly = Pipeline([
    ('poly', PolynomialFeatures(degree=3)),
    ('stds', StandardScaler()),     # 去均值和方差归一化。且是针对每一个特征维度来做的，而不是针对样本。
    ('lre', LinearRegression())
])

# 拟合
poly.fit(x1, y)
p_x1 = poly.predict(x1)

# 画图
plt.scatter(x, y)
plt.plot(np.sort(x), p_x1[np.argsort(x)], color='r')
plt.show()

实验结果

总结

回归模型的这三个典型案例基本上概括了回归问题的本质----预测。这是机器学习中的基本问题之一，回归模型的建立思想为后续二分类，多分类，决策树，支持向量积奠定了基础