西瓜书记录（一）模型评估与选择

样本表示符号：一般地，令 D = {X_l，X₂，...， X_m } 表示包含 m 个示例的数据集，每个示例由 d 个属性描述则每个示例Xi = (X_i1; X_i2; . . . ; X_id) 是 d 维样本空间 X 中的一个向量 ， X_i ∈X。

1、关于NP与P问题的解释

P类问题：所有可以在多项式时间内求解的判定问题构成P类问题。
判定问题：判断是否有一种能够解决某一类问题的能行算法的研究课题。
NP类问题：所有的非确定性多项式时间可解的判定问题构成NP类问题。
非确定性算法：非确定性算法将问题分解成猜测和验证两个阶段。算法的猜测阶段是非确定性的，算法的验证阶段是确定性的，它验证猜测阶段给出解的正确性。设算法A是解一个判定问题Q的非确定性算法，如果A的验证阶段能在多项式时间内完成，则称A是一个多项式时间非确定性算法。有些计算问题是确定性的，例如加减乘除，只要按照公式推导，按部就班一步步来，就可以得到结果。但是，有些问题是无法按部就班直接地计算出来。比如，找大质数的问题。有没有一个公式能推出下一个质数是多少呢？这种问题的答案，是无法直接计算得到的，只能通过间接的“猜算”来得到结果。这也就是非确定性问题。而这些问题的通常有个算法，它不能直接告诉你答案是什么，但可以告诉你，某个可能的结果是正确的答案还是错误的。这个可以告诉你“猜算”的答案正确与否的算法，假如可以在多项式（polynomial）时间内算出来，就叫做多项式非确定性问题。

2、数据集分类法

留出法 ：互斥两部分，保留数据分布一致性。不稳定，一般若干次随机划分。2/3~4/5用于训练。
分层采样：保留类别比例的采样方式。
交叉验证：分层采样出数据子集。√√

特例：留一法。数据集较大时候开销大。
自助法: m样本数据集，每次随机拷贝一个，执行m次，作为训练集，剩下的测试集。——小数据集

3、性能度量

查准率、查全率与 Fl

查准率与查全率：

分类混淆矩阵

precision

recall

Fl 是基于查准率与查全率的调和平均 (harinonic mean)定义的:

ß> 1 时查全率有更大影响 ; ß< 1 时查准率有更大影响.

P-R曲线与 平衡点示意图

若一个学习器的 P-R 曲线被另一个学习器的曲线完全"包住 " ， 则可断言后者的性能优于前者。平衡点 " (BEP)就是这样一个度量，它是" 查准率=查全率"时的取值。

ROC与AUC曲线

真正例率与假正例率

ROC 曲线与AUC

若一个学习器的 ROC 曲线被另 一个学习器的曲线完全"包住"， 则可断言后者的性能优于前者;若两个学习器的 ROC 曲线发生交叉，则难以-般性地断言两者孰优孰劣 . 此时如果一定要进行比较， 则较为合理的判据是 比较 ROC 曲线下的面积

4、偏差——方差分解

解释学习算法泛化性能的一种重要工具.
方差：

偏差：

其中

噪声

算法的期望

偏差一方差分解说明，泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的.