周志华机器学习作业练习 第2章 模型评估与选择

从正例中取150+从反例中取150 ：$$(C_{500}^{150}{)}^2$$

10折交叉检验：假设样本分布均匀(每次训练样本中正反例数目一样)，所以错误率的期望是50%。
留一法：特殊的交叉验证方法(样本数为m，进行m折交叉验证)错误率为100%

1.BEP 是根据不同分类阀值找到查准率=查全率时的取值
2.而F1是根据不同分类阀值选取的最大F值

3.所以我们不应该把F1中的p和r带入BEP中互相转换，因为他们很可能取的阀值是不同的。
4.对于题目我们可以举一个反例，假设两条P-R曲线在查准率和查全率相等时相交(他们的BEP相等)，且两个曲线不相等，会出现F值不同。所以F值高BEP不见得高。

查全率: 真实正例被预测为正例的比例
真正例率: 真实正例被预测为正例的比例
显然查全率与真正例率是相等的。

查准率:预测为正例的实例中真实正例的比例
假正例率: 真实反例被预测为正例的比例
两者并没有直接的数值关系。

2.5 试证明(2.22)$$AUC=1-l_{rank}$$

2.21这个公式还是挺难看懂的，大概意思是$$f(x^{+})<f(x^{-})记1分，f(x^{+})=f(x^{-})记0.5分，之后累加。在乘\frac{1}{m^{+}{m}^{-}}$$

结合ROC曲线的原理，让罚值从高到低变换得到对应的真正率和假正率。

根据AUC公式展开，$$AUC=\frac{1}{2}\sum _{i=1}^{m-1}(\frac{T{P}_{i+1}}{T{P}_{i+1}+F{N}_{i+1}}+\frac{T{P}_i}{T{P}_i+F{N}_i})\ast (\frac{F{P}_{i+1}}{F{P}_{i+1}+T{N}_{i+1}}-\frac{F{P}_i}{F{P}_i+T{N}_i})$$

而$$TP+FN=m^{+}$$ $$FP+TN=m^{-}$$
$$==>$$
$$AUC=\frac{1}{2}\sum _{i=1}^{m-1}(\frac{T{P}_{i+1}}{m^{+}}+\frac{T{P}_i}{m^{+}})\ast (\frac{F{P}_{i+1}}{m^{-}}-\frac{F{P}_i}{m^{-}})$$

$$==>$$

$$AUC=\frac{1}{m^{+}{m}^{-}}\sum _{i=1}^{m-1}\{\begin{array}{ll}0& \text{新增样本预测为真正}\\ T{P}_i& \text{新增样本预测为假正}\end{array}$$

如下图所示，一个单位的矩形面积为$\frac{1}{m^{+}{m}^{-}}$,三角形面积为$\frac{1}{2}\ast \frac{1}{m^{+}{m}^{-}}$。并且只有水平和倾斜线段上是有面积的。

1.当正例预测值小于负例时，1个单位水平线段线上矩形个数为$m^{+}-T{P}_i+1$
2.当正例预测值等于负例时，线段倾斜线上矩形个数为$m^{+}-T{P}_i+1/2$

同理这就验证了罚分的概念,所以$l_{rank}$可转化为:

$$l_{rank}=\frac{1}{m^{+}{m}^{-}}\ast (m^{+}{m}^{-}-\sum _{i=1}^{m-1}\{\begin{array}{ll}0& \text{新增样本预测为真正}\\ T{P}_i& \text{新增样本预测为假正}\end{array})$$

错误率可由代价-混淆矩阵得出；

ROC曲线基于TPR与FPR表示了模型在不同截断点取值下的泛化性能。

ROC曲线上的点越靠近（1，0）学习器越完美，但是常需要通过计算等错误率来实现P、R的折衷，而P、R则反映了我们所侧重部分的错误率。

ROC曲线的点对应了一对（TPR,FPR），即一对（FNR,FPR），由此可得一条代价线段（0,FPR)–(1,FNR），由所有代价线段构成簇，围取期望总体代价和它的边界–代价曲线。所以说，ROC对应了一条代价曲线，反之亦然。