广义加性模型和树模型

广义加性模型

传统线性模型所面临的问题：
在现实生活中，变量的作用通常不是线性的。

广义加性模型是一种自由灵活的统计模型，它可以用来探测到非线性回归的影响。模型如下：

E(Y|X1,...,Xp)=α+f1(X1)+f2(X2)+...+fp(Xp)

X1,...,Xp 是预测器(predictor)，其实就是自变量；
Y 是输出；
fj 是非参数函数；
α和fj()是要估计的 ；

直观的理解就是，模型放松了对 X 是线性的要求，可以对每个自变量进行非线性的变换。

树模型

感觉ESL里的树模型和决策树的思想类似。

二者都是根据自变量 X 来对原始输入空间进行划分。然后使用相应的函数来检测划分子集的纯度怎么样，一次来判断划分的好坏。

《统计学习方法》里说可以将决策树看作是 if−then 规则，每条路径构建一条判别规则。任意一个实例都被且仅被一条路径覆盖。

ESL中损失函数定义为：

Cα(T)=∑m=1|T|NmQm(T)+α|T|

T 代表树模型， |T| 代表叶子的个数；
Nm 代表第 m 个叶子中的实例个数；
c^m=1Nm∑xi∈Rmyi ；
Qm(T)=1Nm∑x∈Rm(yi−c^m)2 ；
α|T| 是用来做剪枝，控制复杂度用的；

小插曲：
前面的文章曾经介绍过分段多项式：

我感觉这个图可以看成是只有一个连续属性的决策树，即 X∈R 。这里对划分结点的选择是一个值得探讨的问题。这个问题在 knots 选择里应该有涉及。

决策树又可分为回归和分类两类，区别在于选取划分点和划分自变量上。对于回归可以使用：

minj,s[minc1∑xi∈R1(j,s)(yi−c1)2+minc2∑xi∈R2(j,s)(yi−c2)2]

j 是划分变量；
s 是划分点；

分类问题可以使用信息增益，基尼指数，增益率等等来做。

参考文章: ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十二）