机器学习评价指标
1. 分类问题
(1) 精确率与召回率
精确率和召回率多用于二分类问题.精确率(precision)指的是模型判为正的所有样本中真实是正样本的比例;召回率(recall)指的是所有正样本中被模型判为正样本的比例.
有时候需要在精确率和召回率之间进行权衡,一种选择是画出精确率-召回率曲线.曲线下的面积称为AP(average precision score)分数;另一种选择是计算F值,它是正确率和召回率的调和平均值
(2) ROC
模型输出的正样本集合是A,其中真正的正样本集合为B.所有样本的集合是C,真正率(true-positive rate)为 , 假正率(false-positive rate)
ROC曲线适用于二分类问题,以假正率为横坐标,真正率为纵坐标的曲线图.AUC分数是曲线下的面积,面积越大意味着分类器的效果越好.
(3) kappa系数
kappa用来衡量两种标注结果的吻合程度, 标注指的是把n个样本标注为c个互斥类别.
(4) 海明距离
海明距离(hamming distance)用于需要对样本多个标签进行分类的场景.
(5) 混淆矩阵
混淆矩阵(confusion matrix),通过它可以直观地观察到算法的效果.它的每一列是样本的预测分类,每一行是样本的真实分类,其反映了分类结果的混淆程度.
(6) 对数损失
(7) 铰链损失
铰链损失(hinge loss)一般用来使边缘最大化.
(8) 杰卡徳相似系数
杰卡徳相似系数(jaccard similarity coefficients)用于对样本多个标签进行分类的场景.
(9) 涵盖误差
涵盖误差(coverage error)指的是预测结果中平均包含多少真实标签,适用与二分类问题.
2. 拟合
(1) 平均绝对误差MAE
平均绝对误差(mean absolute error)也称1范数损失.
(2) 平均平方误差
平均平方误差MSE(mean squared error)又称为2范数误差,
(3)解释变异
解释变异(explained variance)是根据误差的方差asian得到的.
(4) 决定系数
决定系数(coefficient of determination)
3. 聚类
(1) 兰德系数
兰德系数(rand index)需要给定实际类别信息
(2) 互信息
互信息(mutual information)用来衡量两个数据分布的吻合程度.
(3) 轮廓系数
轮廓系数(silhouette coefficient)适用于实际类别信息未知的情况.
a是单个样本与其它类别中样本的平均距离,b是与它距离最近不同类别中样本的平均距离.
对于一个样本集合,它的轮廓系数是所有样本的轮廓系数的平均值.轮廓系数范围是(-1,1),同类别样本距离越相近,不同类别样本距离越远,分数越高.