模型评估指标总结笔记——回归/分类/聚类

评估指标：

1. 回归指标

（1）MAE （平均绝对值误差）是所有单个观测值与算术平均值的偏差的绝对值的平均。平均绝对误差可以避免误差相互抵消的问题，因而可以准确反映实际预测误差的大小。
缺点：由于有绝对值，使得某些点无法求导。
（2）MSE （均方误差）是反映估计量与被估计量之间差异程度的一种度量。
缺点：MSE与我们目标变量的量纲不一样。
（3）RMSE （平方根误差）是预测值与真实值偏差的平方与观测次数n比值的平方根。解决了上述两种误差的缺点。
缺点：用了平均误差，而平均值对异常点比较敏感。

2. 分类指标

（1）精度：被正确分类的样本占总样本的比例。
（2）混淆矩阵：TP 标签为正样本而且预测为正样本的个数；FP 标签为负样本而预测为正样本的个数；FN 标签为正样本而预测为负样本的个数；TN 标签为负样本而且预测为负样本的个数。

① 真正率：正样本被预测正确的比例。 TPR = TP / (TP + FN)
② 假负率：正样本被预测错误的比例。 FNR = FN / (TP + FN)
③ 假正率：负样本被预测错误的比例。 FPR = FP / (FP + TN)
④ 真负率：负样本被预测正确的比例。 TNR = TN / (FP + TN)
⑤ 准确率：精度。Accuracy = (TN + TP) / (TP + FP + FN + TN)
（3）召回率（Recall）：真实为正样本的结果中，有多少是正确分类的。即正样本被分类正确的比率。越高越好。Recall = TP / (FN + TP)
（4）精确率（Precision）：预测出来为正样本的结果中，有多少是正确分类的。即预测为正样本的数量中，预测正确的比率。越高越好。Precision = TP / (FP + TP)
（5）F值（F1-score）：精确率和召回率的调和平均值，它的值更接近于precision和recall中的较小值。（由于F值无法直观反映数据的情况，同时业务含义相对较弱，实际工作用到的不多）
（6）ROC（受试者工作特性曲线）：反应敏感度和特异度连续变量的综合指标。纵坐标为敏感度 TPR，敏感度的值越高越好，证明覆盖率高；横坐标为特异度 FPR，特异度越低越好，证明精确度高。即在ROC曲线上，越往左上角靠的数值越好。
（7）AUC （ROC曲线下的面积）：直观的评价分类器的好坏，越大越好；对样本类别是否均衡并不敏感。
（8）PRC（Precision为纵坐标，Recall为横坐标）： 越往右上靠越好。即精确率和召回率都高。
这里有个博主讲的通俗易懂

3. 目标检测的指标（分类指标）

（1）AP 平均精度：使用积分的方式来计算PR曲线与坐标轴围城的面积。
（2）mAP：所有类别的AP求平均。

4. 聚类指标（标准：类内距小，类间距大）

（1）兰德指数
（2）互信息
（3）轮廓系数 ：越大越好，越接近1，则说明聚类越合理。（取值范围：0-1）
缺点：有凹进去的数据评价指标往往不好。
（4）CH分数：越大越好，缺点和轮廓系数一样。
（5）DBI 戴维森堡丁指数： 越小越好。