机器学习笔记-第二章模型评估与选择1

错误率（error rate）：分类错误的样本数占样本总数的比例。
精度 = 1 - 错误率
误差（error）：学习器的实际预测输出与样本的真实输出之间的差异
训练误差/经验误差
泛化误差：在新样本上的误差。

划分训练集和测试集：

1、留出法：直接将数据集$D$划分为两个互斥的集合。
2、交叉验证法：现将数据集$D$划分为$k$个大小相似的互斥子集，每个子集$D_i$都尽可能保持数据分布的一致性，即从$D$中通过分层采样得到。然后，每次用$k-1$个子集的并集作为训练集，余下的那个子集作为测试集，最后返回这$k$个测试结果的均值。
3、自助法：以自助采样法为基础，给定包含$m$个样本的数据集$D$，每次随机从$D$有放回的抽取一个样本，将其放入$D^{\prime }$，重复执行$m$次，则得到一个包含$m$个样本的数据集$D^{\prime }$。将$D^{\prime }$用作训练集，$D/D^{\prime }$用作测试集。
（自助法产生的数据会改变初始数据集的分布，引入估计偏差）

性能度量

1、均方误差（回归）：
$$E(f;D)=\frac{1}{m}\sum _{i=1}^m(f(x_i)-y_i{)}^2.$$
对于数据分布和概率密度函数$p(.)$：
$$E(f;D)={\int }_{x\sim D}(f(x)-y{)}^{2}p(x)dt.$$
2、错误率：
$$E(f;D)=\frac{1}{m}\sum _{i=1}^{m}I(f(x_i)\ne y_i).$$
3、 查准率和查全率

查准率-查全率曲线：
在进行比较时，若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者，如图中的B优于C；如果两个学习器的P-R曲线发生了交叉，则难以比较

平衡点（BEP）： 是查准率=查全率时的取值，则可知A优于B。

F1度量：
$$F1=\frac{2\times P\times R}{P\times R}=\frac{2\times TP}{样例总数+TP-TN}$$
F1度量的一般形式——$F_{\beta }$：能表达出对查准率$/$查全率的不同偏好:
$$F_{\beta }=\frac{(1+{\beta }^2)\times P\times R}{({\beta }^2\times P)+R}$$
有多个二分类混淆矩阵时：
① 分别计算出查准率和查全率，再计算平均值。
$$宏查准率（macro\_P）=\frac{1}{n}\sum _{i=1}^n{P}_i$$
$$宏查全率（macro\_R）=\frac{1}{n}\sum _{i=1}^n{R}_i$$
$$宏F1（macro\_F1）=\frac{2\times macro\_P\times macro\_R}{macro\_P+macro\_R}$$
② 先将个混淆矩阵对应的元素平均，再基于这些平均值计算。
$$微查准率（micro\_P）=\frac{\overline{TP}}{\overline{TP}+\overline{FP}}$$
$$微查全率（micro\_R）=\frac{\overline{TP}}{\overline{TP}+\overline{FN}}$$
$$微F1（micro\_F1）=\frac{2\times micro\_P\times micro\_R}{micro\_P+micro\_R}$$

ROC （受试者工作特征曲线）

纵轴为“真正例率”（TPR）：$$TPR=\frac{TP}{TP+FN}$$
横轴为“假正例率”（FPR）：$$FPR=\frac{FP}{TN+FP}$$
$$AUC=\frac{1}{2}\sum _{i=1}^{m-1}(x_{i+1}-x_i)\cdot (y_i+y_{i+1})$$

代价敏感错误率与代价曲线

$$表2\_二分类代价矩阵$$

真实类别	预测类别
	第0类（正类）	第1类（反类）
第0类（正类）	0	$cos{t}_{01}$
第1类（反类）	$cos{t}_{10}$	0

其中$cos{t}_{ij}$表示将第$i$类样本预测为第$j$类样本的代价。若将第0类判别为第1类所造成的损失更大，则$cos{t}_{01}>cos{t}_{10}$；损失程度相差越大，$cos{t}_{01}$与$cos{t}_{10}$值的差别越大。
一般情况下，重要的是代价比值而非绝对值。
$$代价敏感错误率：E(f;D;cost)=\frac{1}{m}(\sum _{x_i\in D^{+}}I(f(x_i)\ne y_i)\times cos{t}_{01}+\sum _{x_i\in D^{-}}I(f(x_i)\ne y_i)\times cos{t}_{10}).$$
代价曲线
横轴是取值为[0,1]的正例概率代价：
$$P(+)cost=\frac{p\times cos{t}_{01}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}}$$
其中$p$是样例为正例的概率。
纵轴是取值为[0,1]的归一化代价：
$$cos{t}_{norm}=\frac{FNR\times p\times cos{t}_{01}+FPR\times (1-p)\times cos{t}_{10}}{p\times cos{t}_{01}+(1-p)\times cos{t}_{10}}$$
其中$FPR$是假正例率，$FNR=1-TPR$是假反例率。