Machine Learning -- 模型评估和选择

归纳和演绎是科学推理的两大基本手段。

归纳是从特殊到一般的“泛化”过程，即从具体的事实归结出一般性规律。

演绎是从一般到特殊的“特化”过程，即从基础原理推演出具体情况。

“奥卡姆剃刀”（Occam's razor）是一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”。

1.经验误差与过拟合

       学习器在训练集上的误差称为训练误差（training error）或经验误差（empirical error），在新样本上的误差称为泛化误差（generalization error）。

       当学习器吧训练样本学得“太好”的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样就会导致泛化性能下降。-----------即出现了过拟合现象。

        与过拟合对应得是欠拟合，是指对训练样本的一般性质尚未学好。

         欠拟合相对较容易克服，例如在决策树学习中扩展分支、在神经网络中增加训练轮数等，而过拟合则很麻烦。

         过拟合是无法避免的，只能缓解或者说减小其风险。

2.评估方法

（1）留出法

（2）交叉验证法

（3）自助法

3.性能度量

（1）错误率和精度

错误率是分类错误的样本数占样本总数的比例。

精度是分类正确的样本数占样本总数的比例。

（2）查准率、查全率与F1

分类结果混淆矩阵

真实情况	预测结果
	正例	反例
正例	TP	FN
反例	FP	TN

                                                                   

                                                                  

注：P为查准率（或准确率），R为查全率（或召回率）。

                                                        

其中N表示样本总数。

                                                                  

对于，大于1查全率有更大影响，小于1查准率有更大影响。

（3）ROC与AUC等

注：来源于周志华的《机器学习》