机器学习中的四种评价函数

机器学习中的四种评价函数

评价函数(EvaluationFunction)

在毕业设计过程中常使用的五种基于预测误差的评价指标:

1. 均方根误差(RMSE)

2. R-平方(R2)

3. 平均绝对百分误差(MAPE)

4. 平均绝对误差(MAE)

5. 希尔不等系数(TIC)(暂不使用)

均方根误差(RMSE)

RMSE是预测值与真实值的误差平方根的均值。
均方根误差RMSE(root-mean-square error), 均方根误差亦称标准误差,它是观测值与真值偏差的平方与观测次数比值的平方根。均方根误差是用来衡量观测值同真值之间的偏差。标准误差对一组测量中的特大或特小误差反映非常敏感,所以,标准误差能够很好地反映出测量的精密度。可用标准误差作为评定这一测量过程精度的标准。计算公式如下:

 机器学习中的四种评价函数_第1张图片

优点:标准化平均方差对均方差进行了标准化改进,通过计算拟评估模型与以均值为基础的模型之间准确性的比率,标准化平均方差取值范围通常为0~1,比率越小,说明模型越优于以均值进行预测的策略,NMSE的值大于1,意味着模型预测还不如简单地把所有观测值的平均值作为预测值,

缺点:但是通过这个指标很难估计预测值和观测值的差距,因为它的单位也和原变量不一样了,综合各个指标的优缺点,我们使用三个指标对模型进行评估。

R-平方(R^2)

R^2方法是将预测值跟只使用均值的情况下相比,看能好多少。其区间通常在(0,1)之间。0表示还不如什么都不预测,直接取均值的情况,而1表示所有预测跟真实结果完美匹配的情况。
计算公式如下:

 机器学习中的四种评价函数_第2张图片

平均绝对误差(MAE)、平均绝对百分误差(MAPE)

相对百分误差绝对值的平均值MAPE(mean absolute percentage error):可以用来衡量一个模型预测结果的好坏。
MAE平均绝对误差=︱原值-估计值︱/n

计算公式如下:

机器学习中的四种评价函数_第3张图片

MAE优缺点:虽然平均绝对误差能够获得一个评价值,但是你并不知道这个值代表模型拟合是优还是劣,只有通过对比才能达到效果;

为了比较每个回归模型的性能,这里使用了不同的性能评价指标:根平均平方误差(RMSE)、确定系数或r平方/R^2、平均绝对误差(MAE)和平均绝对百分比误差(MAPE)。

你可能感兴趣的:(机器学习)