算法评价指标

回归与分类

• 监督学习 $D=\{(x_i,y_i){\}}_{i=1}^n$

  • $x_i=(x_{i1},\cdots ,x_{ip})$ 表示第 $i$ 个样本的特征向量，相对容易获得
  • $y$ 表示第 $i$ 个样本的标签值，相对难获得，需要根据特征来预测

• 回归与分类问题的区别主要在标签的取值范围

  • 回归问题：最小化平方损失学习预测函数

    $$min\frac{1}{n}\sum _{i=1}^n(y_i-f(x_i;w){)}^2$$

  • 分类问题：最小化交叉熵损失

    $$min\frac{1}{n}\sum _{i=1}^n-(y_{i}log(p_i)+(1-y_i)log(1-p_i))$$

• 给定数据集，求解优化问题，学习预测函数

  • 回归问题：$\hat{y}=f(x;\hat{w})$
  • 分类问题：$\hat{p}=\sigma (g(x;\hat{w})$

回归算法评价指标（绝对）

• 平均绝对值误差：

  $$MAE(y,\hat{y})=\frac{1}{n}\sum _{i=1}^n(|y_i-{\hat{y}}_i|)$$

• 均方误差：

  $$MSE(y,\hat{y})=\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

• 均方根误差：

  $$RMSE(y,\hat{y})=\sqrt{\frac{1}{n}\sum _{i=1}^n(y^i-{\hat{y}}_i{)}^2}$$

回归算法评价指标（相对）

• 平均绝对百分比误差：

  $$MAPE(y,\hat{y})=\frac{1}{n}\sum _{i=1}^n\frac{(|y_i-{\hat{y}}_i|)}{max(ϵ,|y_i|)}$$

• 可解释变异： 越大越好

  $$\begin{array}{rl}EV(y,\hat{y})& =1-\frac{Var(y-\hat{y})}{Var(y)}\\ & =1-\frac{\sum [(y_i-{\hat{y}}_i)-\frac{1}{n}\sum (y_i-{\hat{y}}_i){]}^2}{\sum (y_i-{\bar{y}}_i{)}^2}\\ & =1-\frac{\sum (e_i-{\bar{e}}_i{)}^2}{\sum (y_i-{\bar{y}}_i{)}^2}\\ & =1-\frac{\sum e_i^2}{\sum (y_i-{\bar{y}}_i{)}^2}\\ & =R^2(y,\hat{y})\end{array}$$

• 决定系数： 越大越好
  $$R^2(y,\hat{y})=1-\frac{{\sum }_{i=1}^n(y_i-{\hat{y}}_i{)}^2}{{\sum }_{i=1}^n(y_i-{\bar{y}}_i{)}^2}$$

相应的回归模型预测误差可以写成：
$$SST=\sum _{i=1}^n(y_i-\bar{y}{)}^2$$

$$\begin{array}{rl}SST& =\sum _{i=1}^n(y_i-{\hat{y}}_i+{\hat{y}}_i-\bar{y}{)}^2\\ & =\sum _{i=1}^n[(y_i-{\hat{y}}_i{)}^2+2(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})+({\hat{y}}_i-\bar{y}{)}^2]\\ & =\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2+2\sum _{i=1}^n(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})\\ & =\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2+\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2\\ & =SSE+SSR\end{array}$$

计算 ${\sum }_{i=1}^n(y_i-{\hat{y}}_i)({\hat{y}}_i-\bar{y})$

      ∑ i = 1 n ( y i − y ^ i ) ( y ^ i − y ˉ ) = ∑ i = 1 n ( y i − y ^ i ) y ^ − ∑ i = 1 n ( y i − y ^ i ) y ˉ = ∑ i = 1 n ( y i − y ^ i ) y ^ = ( y 1 − y ^ 1 ⋯ y n − y ^ n ) ( y ^ 1 ⋮ y ^ 2 ) = ( y − y ^ ) T y ^ \begin{aligned} & ~~~~~{\sum^n_{i=1}} (y_i − \hat y_i)(\hat y_i − \bar y) \\ & = {\sum^n_{i=1}} (y_i − \hat y_i)\hat y - {\sum^n_{i=1}} (y_i − \hat y_i) \bar y \\ & = {\sum^n_{i=1}} (y_i − \hat y_i)\hat y \\ & = \begin{pmatrix} y_1-\hat y_1 & \cdots & y_n-\hat y_n \end{pmatrix} \begin{pmatrix} \hat y_1 \\ \vdots \\ \hat y_2 \\ \end{pmatrix} \\ & = (y-\hat y)^T \hat y \end{aligned} ​     i=1∑n​(yi​−y^​i​)(y^​i​−yˉ​)=i=1∑n​(yi​−y^​i​)y^​−i=1∑n​(yi​−y^​i​)yˉ​=i=1∑n​(yi​−y^​i​)y^​=(y1​−y^​1​​⋯​yn​−y^​n​​) ​y^​1​⋮y^​2​​ ​=(y−y^​)Ty^​​

替换$\hat{y}=Hy$，$H$为帽子矩阵
$$=(y-Hy{)}^{T}Hy=y^T(E-H{)}^{T}Hy$$

分类算法评价指标

评估

True Positive(TP)： $y=1,\hat{y}=1$

False Negative(FN)：$y=1,\hat{y}=0$

False Positive(FP)：$y=0,\hat{y}=1$

True Negative(FP)：$y=0,\hat{y}=0$

评估指标

混淆矩阵 (Confusion matrix)：

$TP+FN=P,FP+TN=N$

	$\hat{y}=1$	$\hat{y}=0$
$y=1$	$TP=4$	$FN=1$	$P=5$
$y=0$	$FP=2$	$TN=3$	$N=5$

$TPR=\frac{TP}{TP+FN},TNR=\frac{TN}{TN+FP}$

	$\hat{y}=1$	$\hat{y}=0$
$y=1$	$TPR=\frac{4}{5}$	$FNR=\frac{1}{5}$	$P=5$
$y=0$	$FPR=\frac{2}{5}$	$TNR=\frac{3}{5}$	$N=5$

准确率 (Accuracy):

$$Accuracy=\frac{TP+TN}{TP+FN+FP+TN}=\frac{TP+TN}{N+P}$$

分类错误率 (Classification error):

$$\begin{array}{rl}Classificationerror& =1-Accuracy\\ & \\ & =\frac{FN+FP}{P+N}\end{array}$$

召回率 (Recall)

也称为查全率或真阳性率 (True Positive Rate)，
$$Recall=TPR=\frac{TP}{TP+FN}$$

精确率 (Precision)

也称为查准率
$$Precision=\frac{TP}{TP+FP}$$

ROC 曲线

改变阈值 $\delta$ 的值，可以得到不同的混淆矩阵，$FPR$ 和 $TPR$ 也会随之变化：

$$\begin{array}{ccc}\text{ 阈值 }& \text{ FPR }& \text{ TPR }\\ 0.1& 1& 1\\ 0.2& 4/5& 1\\ 0.3& 3/5& 1\\ 0.4& 3/5& 4/5\\ 0.5& 2/5& 4/5\\ 0.6& 2/5& 3/5\\ 0.7& 1/5& 3/5\\ 0.8& 0& 2/5\\ 0.9& 0& 1/5\\ 1.0& 0& 0\end{array}$$
以 $FPR$ 为横坐标，$TPR$ 为纵坐标画出来的曲线， 即为 ROC(Receive Operating Characteristic) 曲线。

模型评估与模型选择

模型评估

• 从数据集 $D=\{(x_i,y_i){\}}_{i=1}^n$ 中学习得到的预测函数 $f(x;\hat{w})$ 的性能如何评估？
• 计算预测函数 $f(x;\hat{w})$ 在训练数据集 $D=\{(x_i,y_i){\}}_{i=1}^n$ 的评价指标
• 训练误差不是合适的评估算法性能！

• 需要基于一个测试集 $D^{\prime }=\{(x_{n+i},y_{n+i}){\}}_{i=1}^m$ 来估 计算法的性能
  • 测试数据集与训练数据集是不同的
  • 在一个测试集上的误差称为测试误差。
  • 测试集与训练集来自相同分布，并且是相互独立的。
• 如何构造测试数据集？
  • 留出法
  • 交叉验证法
  • 自助法

留出法

留出法 (Hold-out) 直接将数据集 $D$ 划分成 3 个互斥的集合，其中一个用作训练集 $S$，一个作为验证集 $V$，一个作为测试集 $\mathrm{T}$ 。适合于样本规模较大的情形。

• 各数据集解释

  • 训练集 (training set)：用来训练拟合一个模型 (预先设定超参数值)；

  • 验证集 (validation set)：不是必须的，可以用来帮助选择超参数等;

  • 测试集 (test set)：评估最终所选择的模型的测试误差。

• 注意事项：

  • 训练/验证/测试集的划分需要尽可能的保持数据分布的一致性；

  • 由于数据集划分的随机性，使得单次使用留出法得到的估计结果往往不够可靠稳定，在具体应用时，需要进行多次随机划分，多次重复进行试验评估后取平均值作为留出法的评估结果

  • 常见的做法是使用 $\frac{2}{3}\sim \frac{4}{5}$ 的样本作为训练集，其他样本作为测试集。

交叉验证法

交叉验证法 (cross validation) 是指随机的将整个数据集随机均匀的划分成 $\mathrm{k}$ 个互斥的子集。
$$D=D_1\cup D_2\cup D_3\cup \cdots \cup D_k$$

• 每次选择 1 个子集作为测试集，其余 $k-1$ 个子集作为训练集，训练机器学习模型 $f_i$
• 将在训练集上得到的模型在测试集上测试，得到评估结果 $E_i$ 重复上述步骤 $\mathrm{k}$ 次, $\mathrm{k}$ 轮的性能指标的均值 $E=\frac{1}{k}{\sum }_{i=1}^k{E}_i$ 作为最终的评价结果
• 称为 $k$ 折交叉验证 ( k-fold cross validation )。 $k$ 值常取为 5 或者 10
• $k$ 折交叉验证法通常要随机使用不同的划分重复 $p$ 次。称为 $p$ 次 $k$ 折交叉验证。

留一法

• 假定原数据集 D 中包含 $\mathrm{n}$ 个样本，令 $k=n$ 得到的 $n$ 折交叉验证法即为留一法 (Leave-one-out: LOO)。
• 留一法不受随机样本划分方式的影响，因而不需要重复多次。
• 留一法的缺陷在于，当数据集比较大时，训练 $n$个模型的计算开销也更大。

自助法

自助采样法 (bootstrap sampling) 来得到训练子集。

• 在给定包含 $\mathrm{m}$ 个样本的数据集，我们随机选择一个样本放入采样集中，再把该样本放回初始数据集，使得下次采样时该样本能有机会被抽中 (即有放回的抽样)。

• 重复上述过程 $\mathrm{m}$ 次，得到一个包含 $\mathrm{m}$ 个样本的子集，有一部分原始样本出现在改子集中，有一部分未出现
  一个样本在 $\mathrm{m}$ 次抽样中始终未被抽中的概率为

$$\underset{m\to \infty }{\lim }(1-\frac{1}{m}{)}^m=\frac{1}{e}\approx 0.368$$

• 假设生成了 $\mathrm{k}$ 个子集，一个样本同时不出现在这 $\mathrm{k}$ 个子集中的概率为：

$$\begin{array}{r}(0.368{)}^k\approx 0\end{array}$$