机器学习技法（二）

《机器学习技法》是国立台湾大学林轩田讲授的一门课程，课程的上集是《机器学习基石》。相关资源可以在youtube找到，也可在评论区索要云盘链接。本文主要是我学完一遍基石&技法后的笔记梳理，如果存疑请以原课程讲授内容为准，欢迎讨论~[注]本文仅适用于帮助复习，不适用于代替视频课程。

技法分为3个部分，分别为

● 核模型：嵌入大量特征（6小节）

● 融合模型：融合预测性特征（5小节）

● 抽取模型：提取隐性特征（4小节）

本文主要梳理第二部分。

二 融合模型：融合预测性特征（5）

1融合模型

1.1 VS validation

1.2融合模型的功效

1.3融合模型的种类

2 uniform blending

2.1 for classification

2.2 for regression

2.3理论保证

2.4 Bagging算法(Bootstrap

Aggregation)拔靴法融合

2.4.1例子

3 non-uniform blending

3.1 linear blending

for classification：

for regression：只需把sign改成1/N。

3.1.1α的计算

实践中通常是用minEval(α)

3.2 Any Blending

3.3 AdaBoost（Adptive

Boosting自适应增强） 皮匠法

3.3.1动机 三个臭皮匠赛过诸葛亮

3.3.2 teacher

3.3.2.1作用

u可以看作是子资料的权重，我们需要调整子资料的权重来获得更多样性的假设集。

3.3.2.2调整子资料的权重来获得更多样性的假设集

3.3.2.3算法

4决策树(conditionallearning)

4.1基本算法

4.2 Classification and RegressionTree(C&RT)

4..2.1 regularization by pruning(剪枝)

4.2.2 C&RT的特点

4.2.2.1容易处理类别特征

4.2.2.2容易处理丢失特征

4.2.3例子

4.2.4特点

5随机森林(bagging+fully-grownDTree)

5.1动机

5.2用特征分解的方式产生不同的树

5.3用OOB做自检

5.3.1 OOB的来源与大小

5.3.2自检

用于投影维度(d’’)的选择：

5.4特征选择

DTree和Adaboosting（stump横刀/纵刀针对x1/x2）都是rare model with built-in feature selection少有的内建特征选择的模型

对于RF：

5.4.1实现方法：permutation

test排列测试

优化:

5.5例子

例1

DTree

RF

例2（有杂讯）：

RF

DTree会overfit，经过投票，RF能够容噪（蓝区内允许x，红区内允许o）

5.6调参经验

6 Gradient Boosted Decision Tree梯度提升决策树(Adaboost+pruned DTree)

6.1动机

加权取样，训练出不同的决策树，再用线性blending融合。

6.2 weighted

SVM的话直接改Ein部分即可，

DTree为了保证不对算法本身做修改，只能在取样下文章。

6.3 pruned DTree

完全长成的树不可行

完全剪枝的树会退化成AdaBoost-Stump

6.4 Adaboost

这里橙色部分，可以看成

①线性投票

②离hyperplane的距离

看成距离以后，若yn为负希望sn越负越好，若yn为正希望sn越正越好。

6.4.1误差函数

这个目标函数希望最小化，可以把它当作以前的误差函数，即使它并不是误差。

把这个误差做好了，同时也能把s和y同号这个二分类问题做好，即最后s和y差不多都是同号的。

6.4.2最小化误差函数

加一个好的g和α进去，由于g和α都还不知道，先用h和η表示

①找到好的h：

最终返回一个在u(t)资料上Ein最小的h加到融合模型里头。h可看作是梯度下降的方向。

②找到好的η：

③总结：AdaBoost可看作steepest descent(η) with approximate(泰勒) functional gradient(h)

6.5 GradientBoost

以下for regression

6.5.1好的h

6.5.2好的η

6.5.3应用：GBDT

7总结

7.1 blending

7.2 learning

7.3 aggregation

效果：