机器学习系列 - 2.如何评价模型的好坏

A.评价分类的相关指标：

精准度，混淆矩阵，精准率，召回率，F1 score, ROC曲线

1.混淆矩阵：

TN：真实值是0，预测值也是0，即我们预测是negative，预测正确了。

FP：真实值是0，预测值是1，即我们预测是positive，但是预测错误了。

FN：真实值是1，预测值是0，即我们预测是negative，但预测错误了。

TP：真实值是1，预测值是1，即我们预测是positive，预测正确了。

2.Accurary - 准确度

（被正确分类的样本比例）: (TP+TN)/(TP+TN+FP+FN)

3.Precision - 精准率

（预测值为1，且预测对的比例）：TP/(TP+FP)

4.Recall - 召回率

（真实值为1的数据中，预测对了的个数）：TP/(TP+FN)

5.F1 Score

是精准率和找回率的调和平均数。调和平均数据的特点是如果二者极度不平衡，如某一个值特别高，另一个值特别低时，得到的F1 Score值也特别低。只有二者都非常高，F1才会高。

F1 = 2RP/(R+P）

6.ROC曲线（Receiver Operation Characteristic Cureve）

描述TPR和FPR之间的关系。x轴是FPR，y轴是TPR。ROC曲线（Receiver Operation Characteristic Cureve），描述TPR和FPR之间的关系。x轴是FPR，y轴是TPR。

TPR（即召回率）:预测为1，且预测对了的数量占真实值为1的数据百分比。

FPR：预测为1，但预测错了的数量，占真实值不为1的数据百分比。FPR= FP/(TN+FP)

TPR就是所有正例中，有多少被正确地判定为正；FPR是所有负例中，有多少被错误地判定为正。

precision随着threshold的增加而增大，recall随着threshold的增大而减小。

AUC关注的不是预测某个概率值的大小，而是指这个概率在全部样本的预测概率中排序。

AUC值是一个概率值，其物理意义是：随机挑选一个正样本和一个负样本，当前的分类算法根据计算的Score值将这个正样本排在负样本前面的概率就是AUC值。AUC值越大，当前分类算法越有可能将正样本排在负样本前面，从而能够更好地分类。

B.评价回归的相关指标：

评价回归结果：MSE, RMES, MAE, R Squared 

MSE（均方误差）：

预测值与真实值之差的平方和，再除以样本量 

RMSE(均方根误差)：

为了消除量纲，将MSE开方

MAE (平均绝对误差)：

预测值与真实值之差的绝对值，再除以样本量

R Squared：

R方这个指标为什么好呢？

对于分子来说，预测值和真实值之差的平方和，即使用我们的模型预测产生的错误。

对于分母来说，是均值和真实值之差的平方和，即认为“预测值=样本均值”这个模型（Baseline Model）所产生的错误。

我们使用Baseline模型产生的错误较多，我们使用自己的模型错误较少。因此用1减去较少的错误除以较多的错误，实际上是衡量了我们的模型拟合住数据的地方，即没有产生错误的相应指标。