机器学习——回归模型

回归模型的功能一般是预测，分为线性回归，决策树(回归树)，支持向量机(SVR)

1.线性回归

线性回归一般使用的公式如下：

y’ = w[0]*x[0] +w[1]*x[1] +w[2]*x[2] +… +w[p]*x[p] +bias

x[0]到x[p] 表示单个数据点的特征，w 和 bias是模型需要学习的参数，y则是模型预测的结果。从高维来看，这里的彩色斜平面便是y所在的平面。

1.1最小二乘法（线性回归）

通过数据点找到参数w和b，使得对训练集的预测值y与真实的回归目标值y’之间的MSE(均方误差)最小。公式如下所示：

1.2 线性回归——线性向非线性的推广

线性回归模型简单，当数据可能呈现非线性关系时，它的测试结果可能就不尽人意了，所以有必要转向非线性模型。因变量和特征的非线性关系可以用如下的多项式函数来表示：

因为x的幂次越大(d越大)，多项式曲线就会光滑，在X的边界处有异常的波动，所以最后d小于等于4。

1.3广义可加模型

不同于线性模型向非线性模型的转换中，X的幂次发生改变，在广义可加模型中，是将每一个X的模型用一个非线性函数来代替，其变换的表达式如下：

2.决策树

基于树的回归方法主要是依据分层和分割的方式将特征空间划分为一系列简单的区域。对某个给
定的待预测的自变量，用他所属区域中训练集的平均数或者众数对其进行预测。由于划分特征空
间的分裂规则可以用树的形式进行概括，因此这类方法称为决策树方法。本质上，它是从if/else问题中进行学习，并得出结论。简单的理解如下：

3.支持向量机