机器学习（西瓜书）注解：第2章 模型评估与选择

机器学习（西瓜书）注解：第2章 模型评估与选择

        本次更新第2章，模型评估与选择。针对该章注解有任何问题欢迎在此留言~

        对于本章内容来说，一般需要懂的很容易懂，一般看不懂的也不需要懂。

        需要懂且很容易懂的包括错误率（和精度）、过拟合、欠拟合的概念，以及2.2节介绍的评估方法。

        接下来的内容，比如对于做信息检索的人来说，需要懂的查准率和查全率其实也很容易懂，只是当把查准率、查全率、真正例率、假正例率、真反例率、假反例率等放到一起时可能就有点懵了，其实理解这些概念的含义就容易区分了。

        查准率就是预测为正例的样本中有多大比例预测正确了，查全率就是数据集中的正例有多少比例被预测为正例（即正例中预测正确的比例），真正例率就是查全率，假正例率就是数据集中的反例有多少比例被预测为正例（即反例中预测错误的比例），真反例率就是数据集中的反例有多少比例被预测为反例（即反例中预测正确的比例），假反例率就是数据集中的正例有多少比例被预测为反例（即正例中预测错误的比例）。

        不同于以上分类指标（必须得到0/1这样的二值预测结果才能计算），AUC是排序指标（预测结果需要为类似于概率预测值时才能计算，概率预测值再配以一个门限，就得到了0/1二值预测），表示从数据集中任取一对正例和反例，正例预测值大于反例预测值的概率。

        F1与错误率、AUC等指标的侧重有所不同，例如对于类别不平衡问题（第3.6节）F1指标相比于错误率、AUC可能更有参考意义。有时会发现自己的算法在错误率（第2.3.1节）等分类指标和AUC（第2.3.3节）等排序指标上都很好，唯独在F1上的结果不尽如人意，原因可能与此有关。

        代价曲线与ROC曲线紧密相关，代价曲线的作者在论文中也反复与ROC做对比，若真想理解代价曲线，还是把原论文仔细读一读吧。代价曲线2006年发表在MLJ上，相对于教材来说应该属于新内容了吧。从这一点可以看出学术大牛写的教材和普通人写的教材还是有本质区别的：一般人写教材通常就是找几本经典教材，然后根据大纲要求的授课内容合理选择保留哪些知识点、按自己讲课思路调整一下内容顺序，然后对内容换一种表达方法，增删一些习题，好一些的还会加一点自己的理解，当然很多时候添加的理解还可能是对知识点的过拟合；而学术大牛写教材可以把这个学科前沿研究中沉淀下来的经典内容逐步放到教材中；所以，真正的教学与科研相结合是需要真才实料的。另外，同样是写了一本书，编、编著、著那是真的有本质区别的。

        比较检验基于概率论与数理统计课程（其实是数理统计部分）中的假设检验，2.4.1节通过一个具体的学习器泛化错误率的例子说明什么是假设检验；式(2.27)有笔误（截止到2018年12月第30次印刷），若读者对假设检验概念理解很深的话倒也很容易看出来，但若本就对假设检验理解不透彻，很容易陷入思维误区；其实核心问题就是要知道，假设检验中的置信度1-α是指，在待检验的假设成立的条件下，观测变量在临界值范围内的后验概率（一定注意这里是后验概率，而不是似然概率）。然后接下来介绍的几种检验在论文中都可以见到；本节内容会用就好，不要对每个公式都刨根问底儿，有时不求甚解也并没有什么坏处。

        偏差方差分解重在理解其含义，实际中你又不能真地把偏差和方差求出来，能够大概判断什么时候模型过拟合了（可能需要继续收集更多的数据），什么时候模型欠拟合（应该使用更复杂的模型），也就够了。

（网盘链接：https://pan.baidu.com/s/1QtEiNnk8jMzmbs0KPBN-_w） 

第 2 章目录
第 2 章 模型评估与选择.................................................................................................................1
        2.1 经验误差与过拟合............................................................................................................1
        2.2 评估方法............................................................................................................................2
                1、留出法的 Matlab 实现 ...............................................................................................2
                2、交叉验证法的 Matlab 实现 .......................................................................................2
                3、自助法的 Matlab 实现 ...............................................................................................4
                4、算法参数（超参数）与模型参数.............................................................................4
                5、训练集/测试集/验证集...............................................................................................4
        2.3 性能度量............................................................................................................................5
                1、式(2.2)到式(2.7)的解释（数据分布） ......................................................................5
                2、查准率和查全率(召回率) ..........................................................................................6
                3、图 2.3 的 Matlab 绘制 ................................................................................................6
                4、式(2.10)的解释...........................................................................................................7
                5、式(2.12)到式(2.17)的解释 .........................................................................................7
                6、式(2.18)和式(2.19)的解释 .........................................................................................8
                7、图 2.4 中的 ROC 曲线解释........................................................................................8
                8、式(2.20)的推导...........................................................................................................9
                9、式(2.21)和式(2.22)的推导 .......................................................................................10
                10、 ROC 与 AUC 的再解释 .........................................................................................12
                11、式(2.23)的解释 .......................................................................................................14
                12、式(2.24)的解释 .......................................................................................................14
                13、式(2.25)的解释 .......................................................................................................15
                14、图 2.5 的解释..........................................................................................................16
                15、 ROC 曲线与代价曲线的比较................................................................................17
        2.4 比较检验..........................................................................................................................20
                1、式(2.26)的解释.........................................................................................................21
                2、图 2.6 的 Matlab 绘制 ..............................................................................................21
                3、式(2.27)的解释.........................................................................................................22
                3、式(2.28)到式(2.28)及图 2.7 的解释.........................................................................23
                4、式(2.31)的解释.........................................................................................................23
                5、列联表(contingency table)的解释............................................................................24
                6、 Friedman 检验与 Nemenyi 后续检验的解释..........................................................24
                7、 Friedman 检验 Matlab 实现 .....................................................................................25
                8、图 2.8 的 Matlab 绘制 ..............................................................................................26
        2.5 偏差与方差......................................................................................................................27
                1、数据集中的标记与真实标记...................................................................................27
                2、式(2.37)到式(2.42)的推导 .......................................................................................27
                3、图 2.9 的解释............................................................................................................29
        2.6 本章小节..........................................................................................................................29