常用损失函数和评价指标总结

1. 损失函数：

1.1 回归问题：

1. 平方损失函数（最小二乘法）：

$$L(Y,f(x))=\sum _{i=1}^n(Y-f(X){)}^2$$

回归问题中常用的损失函数，在线性回归中，可以通过极大似然估计（MLE）推导。计算的是预测值与真实值之间距离的平方和。实际更常用的是均方误差（MSE）：
$$L(Y,f(x))=\frac{1}{m}\sum _{i=1}^n(Y-f(X){)}^2$$

2 平均绝对值误差（L1）-- MAE：

$$L(Y,f(x))=\sum _{i=1}^n|Y-f(X)|$$
MAE是目标值和预测值之差的绝对值之和。

3 MAE（L1） VS MSE（L2）：

• MSE计算简便，但MAE对异常点有更好的鲁棒性:
  当数据中存在异常点时，用RMSE计算损失的模型会以牺牲了其他样本的误差为代价，朝着减小异常点误差的方向更新。然而这就会降低模型的整体性能。

直观上可以这样理解：如果我们最小化MSE来对所有的样本点只给出一个预测值，那么这个值一定是所有目标值的平均值。但如果是最小化MAE，那么这个值，则会是所有样本点目标值的中位数。众所周知，对异常值而言，中位数比均值更加鲁棒，因此MAE对于异常值也比MSE更稳定。

• NN中MAE更新梯度始终相同，而MSE则不同：
  MSE损失的梯度随损失增大而增大，而损失趋于0时则会减小。

• Loss选择建议：

  • MSE： 如果异常点代表在商业中很重要的异常情况，并且需要被检测出来
  • MAE： 如果只把异常值当作受损数据

详细建议参考[6]。

4. Huber损失：

$$L_{\delta }(y,f(x))=\{\begin{array}{ll}\frac{1}{2}(y-f(x){)}^2& \text{ for }|y-f(x)|\le \delta \\ \delta |y-f(x)|-\frac{1}{2}{\delta }^2& \text{ otherwise }\end{array}$$
Huber损失是绝对误差，只是在误差很小时，就变为平方误差。当Huber损失在$[0-\delta ,0+\delta ]$之间时，等价为MSE，而在$[-\infty ,\delta ]$和$[\delta ,+\infty ]$时为MAE。

1.2 分类问题：

1. LogLoss：

$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log h_{\theta }\left(x^{(i)}\right)+\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)\right]$$

二分类任务中常用的损失函数，在LR中，通过对似然函数取对数得到。也就是交叉熵损失函数。

2. 指数损失函数：

$$L(y,f(x))=\frac{1}{m}\sum _{i=1}^{n}exp[-y_{i}f(x_i)]$$
在AdaBoost中用到的损失函数。

2.评价指标：

2.1 回归问题：

1. MSE： 均方误差（Mean Square Error），范围 $[0,+\infty )$
$$MSE=\frac{1}{n}\sum _{i=1}^n{\left({\hat{y}}_i-y_i\right)}^2$$

2. RMSE： 根均方误差（Root Mean Square Error），范围 $[0,+\infty )$
$$RMSE=\sqrt{\frac{1}{n}\sum _{i=1}^n{\left({\hat{y}}_i-y_i\right)}^2}$$

3. MAE： 平均绝对误差（Mean Absolute Error），范围 $[0,+\infty )$
$$MAE=\frac{1}{n}\sum _{i=1}^n\left|{\hat{y}}_i-y_i\right|$$

4. MAPE： 平均绝对百分比误差（Mean Absolute Percentage Error）
$$MAPE=\frac{100\%}{n}\sum _{i=1}^n\left|\frac{{\hat{y}}_i-y_i}{y_i}\right|$$
注意点：当真实值有数据等于0时，存在分母0除问题，该公式不可用！

5. SMAPE： 对称平均绝对百分比误差（Symmetric Mean Absolute Percentage Error）
$$SMAPE=\frac{100\%}{n}\sum _{i=1}^n\frac{\left|{\hat{y}}_i-y_i\right|}{\left(\left|{\hat{y}}_i\right|+\left|y_i\right|\right)/2}$$

注意点： 真实值、预测值均等于0时，存在分母为0，该公式不可用！

6. 代码实现：

# coding=utf-8
import numpy as np
from sklearn import metrics

# MAPE和SMAPE需要自己实现
def mape(y_true, y_pred):
    return np.mean(np.abs((y_pred - y_true) / y_true)) * 100

def smape(y_true, y_pred):
    return 2.0 * np.mean(np.abs(y_pred - y_true) / (np.abs(y_pred) + np.abs(y_true))) * 100

y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])
y_pred = np.array([1.0, 4.5, 3.5, 5.0, 8.0, 4.5, 1.0])

# MSE
print(metrics.mean_squared_error(y_true, y_pred)) # 8.107142857142858
# RMSE
print(np.sqrt(metrics.mean_squared_error(y_true, y_pred))) # 2.847304489713536
# MAE
print(metrics.mean_absolute_error(y_true, y_pred)) # 1.9285714285714286
# MAPE
print(mape(y_true, y_pred)) # 76.07142857142858
# SMAPE
print(smape(y_true, y_pred)) # 57.76942355889724

2.2 分类问题：

以下为二分类的混淆矩阵，多分类的混淆矩阵和这个类似。

	预测正例	预测反例
真实正例	TP（真正例）	FN（假反例）
真实反例	FP（假正例）	TN（真反例）

1. Accuracy（准确率）：

$$Acc=\frac{TP+TN}{TP+TN+FP+FN}$$

准确率在样本不平衡的情况下，产生效果较差。

2. Precision（精准率）：

$$P=\frac{TP}{TP+FP}$$

含义： 预测为正例的样本中有多少实际为正；

3. Recall（召回率）：

$$R=\frac{TP}{TP+FN}$$
含义： 实际为正例的样本有多少被预测为正；

4. P-R曲线：

通过选择不同的阈值，得到Recall和Precision，以Recall为横坐标，Precision为纵坐标得到的曲线图。

PR曲线性质：

• 如果一个学习器的P-R曲线被另一个学习器的曲线完全包住，后者性能优于前者;
• 如果两个学习器的曲线相交，可以通过平衡点的来度量性能，它是“查准率=查全率”时的取值；
• 阈值为0时：$TP=0=>Precision=0，Recall=0$ 所以PR 曲线经过 (0,0)点；
• 阈值上升：
  • Recall：不断增加，因为越来越多的样本被划分为正例；
  • Precision： 震荡下降，不是严格递减；
• 如果有个划分点可以把正负样本完全区分开，那么P-R曲线面积是1*1；

5. $F_{\beta }$（加权调和平均）和 $F_1$（调和平均）:

$$F_{\beta }=\frac{(1+{\beta }^2)\ast P\ast R}{({\beta }^2\ast P)+R}$$

• $\beta >1$：召回率（Recall）影响更大，eg.$F_2$
• $\beta <1$：精确率（Precision）影响更大，eg.$F_{0.5}$

$\beta$为1的时候得到$F_1$：
$$F_1=\frac{2\ast P\ast R}{P+R}$$
调和平均亦可推出：
$$\frac{1}{F_1}=\frac{1}{2}\ast (\frac{1}{R}+\frac{1}{P})$$

6. ROC-AUC：

横轴-假正例率： 实际为负的样本多少被预测为正；
$$FPR=\frac{FP}{TN+FP}$$
纵轴-真正例率： 实际为正的样本多少被预测为正；
$$TPR=\frac{TP}{TP+FN}$$

通过选择不同的阈值得到TPR和FPR，然后绘制ROC曲线。

曲线性质：

1. 阈值最大时，对应坐标点为(0,0),阈值最小时，对应坐标点(1,1)；
2. ROC曲线越靠近左上角，该分类器的性能越好；
3. 对角线表示一个随机猜测分类器；
4. 若一个学习器的ROC曲线被另一个学习器的曲线完全包住，后者性能优于前者；

AUC： ROC曲线下的面积为AUC值。
本质： 一个正例，一个负例，预测为正的概率值比预测为负的概率值还要大的可能性。

7. 代码实现：

from sklearn.metrics import accuracy_score,precision_score,recall_score,f1_score,fbeta_score
 
y_test = [1,1,1,1,0,0,1,1,1,0,0]
y_pred = [1,1,1,0,1,1,0,1,1,1,0] 
 
print("准确率为:{0:%}".format(accuracy_score(y_test, y_pred)))
print("精确率为:{0:%}".format(precision_score(y_test, y_pred)))
print("召回率为:{0:%}".format(recall_score(y_test, y_pred)))
print("F1分数为:{0:%}".format(f1_score(y_test, y_pred)))
print("Fbeta为:{0:%}".format(fbeta_score(y_test, y_pred,beta =1.2)))

参考资料：

1. 分类问题性能评价指标详述
2.AUC，ROC我看到的最透彻的讲解
3.机器学习大牛最常用的5个回归损失函数，你知道几个？
4.机器学习-损失函数
5.损失函数jupyter notebook
6.L1 vs. L2 Loss function
7. P-R曲线深入理解