机器学习中的四种评价函数

机器学习中的四种评价函数

评价函数（EvaluationFunction）

在毕业设计过程中常使用的五种基于预测误差的评价指标：

1. 均方根误差（RMSE）

2. R-平方（R2）

3. 平均绝对百分误差（MAPE）

4. 平均绝对误差（MAE）

5. 希尔不等系数（TIC）（暂不使用）

均方根误差（RMSE）

RMSE是预测值与真实值的误差平方根的均值。
均方根误差RMSE(root-mean-square error)， 均方根误差亦称标准误差,它是观测值与真值偏差的平方与观测次数比值的平方根。均方根误差是用来衡量观测值同真值之间的偏差。标准误差对一组测量中的特大或特小误差反映非常敏感，所以，标准误差能够很好地反映出测量的精密度。可用标准误差作为评定这一测量过程精度的标准。计算公式如下：

 

优点：标准化平均方差对均方差进行了标准化改进，通过计算拟评估模型与以均值为基础的模型之间准确性的比率，标准化平均方差取值范围通常为0～1，比率越小，说明模型越优于以均值进行预测的策略，NMSE的值大于1，意味着模型预测还不如简单地把所有观测值的平均值作为预测值，

缺点：但是通过这个指标很难估计预测值和观测值的差距，因为它的单位也和原变量不一样了，综合各个指标的优缺点，我们使用三个指标对模型进行评估。

R-平方（R^2）

R^2方法是将预测值跟只使用均值的情况下相比，看能好多少。其区间通常在（0,1）之间。0表示还不如什么都不预测，直接取均值的情况，而1表示所有预测跟真实结果完美匹配的情况。
计算公式如下：

 

平均绝对误差（MAE）、平均绝对百分误差（MAPE）

相对百分误差绝对值的平均值MAPE(mean absolute percentage error):可以用来衡量一个模型预测结果的好坏。
MAE平均绝对误差=︱原值-估计值︱/n

计算公式如下：

MAE优缺点：虽然平均绝对误差能够获得一个评价值，但是你并不知道这个值代表模型拟合是优还是劣，只有通过对比才能达到效果；

为了比较每个回归模型的性能，这里使用了不同的性能评价指标:根平均平方误差(RMSE)、确定系数或r平方/R^2、平均绝对误差(MAE)和平均绝对百分比误差(MAPE)。