回顾及总结--评价指标（回归指标）

对学习器的泛化性能进行评估，不仅仅需要有效可行的实验估计方法，还需要有衡量模型泛华能力的评价标准，这就是性能度量。我们通常会根据不同的业务选出适合的业务指标。

评价指标大概有

1、回归的有：RMSE(平方根误差)、MAE（平均绝对误差）、MSE(平均平方误差)、Coefficient of determination (决定系数)。

2、分类的有：精确率、召回率、准确率、F值、ROC-AUC 、混淆矩阵、PRC。

3、聚类的有：兰德指数、互信息、轮廓系数。

 

回归：f是学习器，D是训练集，m是样本数，yi是真是标记，是学习器预测出来的。

1.绝对误差与相对误差

2.MAE（平均绝对误差）又被称为 L1范数损

     

 

优点：可以把绝对误差和相对误差里面正负相互抵消的问题去掉。

缺点：因为用了绝对值，所以会有一些点无法求导~

 

3.MSE(平均平方误差)

优点：解决了不光滑的问题。

缺点：MSE与我们的目标变量的量纲不一致

 

4.RMSE（平方根误差）

优点：解决了上述的缺点。

缺点：它是使用平均误差，而平均值对异常点（outliers）较敏感，如果回归器对某个点的回归值很不理性，那么它的误差则较大，从而会对RMSE的值有较大影响，即平均值是非鲁棒的。

5.Coefficient of determination (决定系数)

决定系数是相关系数的平方。 相关系数是用来描述两个变量之间的线性关系的，但决定系数的适用范围更广，可以用于描述非线性或者有两个及两个以上自变量的相关关系。

SST = SSR + SSE

推导：

如果R2 是0 说明因变量的结果是一个常数。如果结果是1，说明预测出来的就是原本函数。如果是0-1之间的，就是代表模型的好坏。

 

缺点：均值对异常点（outliers）较敏感，如果样本中有一些异常值出现，会对以上指标的值有较大影响，即均值是非鲁棒的。

 

解决评估指标鲁棒性问题

我们通常用一下两种方法解决评估指标的鲁棒性问题：

 

剔除异常值

设定一个相对误差 ，当该值超过一定的阈值时，则认为其是一个异常点，剔除这个异常点，将异常点剔除之 后。再计算平均误差来对模型进行评价。

使用误差的分位数来代替

如利用中位数来代替平均数。例如 MAPE:

 

MAPE是一个相对误差的中位数，当然也可以使用别的分位数。

参考网站：

1. https://zhuanlan.zhihu.com/p/36305931
2. https://blog.csdn.net/a819825294/article/details/51699211