mse均方误差计算公式_TensorFlow2.0（8）：误差计算——损失函数总结

点击“机器学习算法与Python实战”，“置顶”公众号

重磅干货，第一时间送达

TensorFlow2.0(1)：基本数据结构——张量

TensorFlow2.0(2)：数学运算

TensorFlow2.0(3)：张量排序、最大最小值

TensorFlow2.0(4)：填充与复制

TensorFlow2.0(5)：张量限幅

TensorFlow2.0(6)：利用data模块进行数据预处理

TensorFlow2.0(7)：4种常用的激活函数

1 均方差损失函数：MSE

均方误差(Mean Square Error)，应该是最常用的误差计算方法了，数学公式为：

其中，是真实值，是预测值，通常指的是batch_size，也有时候是指特征属性个数。

import tensorflow as tfy = tf.random.uniform((5,),maxval=5,dtype=tf.int32)  # 假设这是真实值print(y)y = tf.one_hot(y,depth=5)  # 转为热独编码print(y)

tf.Tensor([2 4 4 0 2], shape=(5,), dtype=int32)
tf.Tensor(
[[0. 0. 1. 0. 0.]
 [0. 0. 0. 0. 1.]
 [0. 0. 0. 0. 1.]
 [1. 0. 0. 0. 0.]
 [0. 0. 1. 0. 0.]], shape=(5, 5), dtype=float32)

y

array([[0., 0., 1., 0., 0.],
       [0., 0., 0., 0., 1.],
       [0., 0., 0., 0., 1.],
       [1., 0., 0., 0., 0.],
       [0., 0., 1., 0., 0.]], dtype=float32)>

pred = tf.random.uniform((5,),maxval=5,dtype=tf.int32)  # 假设这是预测值pred = tf.one_hot(pred,depth=5)  # 转为热独编码print(pred)

tf.Tensor(
[[0. 1. 0. 0. 0.]
 [0. 0. 0. 1. 0.]
 [1. 0. 0. 0. 0.]
 [0. 0. 0. 1. 0.]
 [0. 0. 0. 0. 1.]], shape=(5, 5), dtype=float32)

loss1 = tf.reduce_mean(tf.square(y-pred))loss1

在tensorflow的losses模块中，提供能MSE方法用于求均方误差，注意简写MSE指的是一个方法，全写MeanSquaredError指的是一个类，通常通过方法的形式调用MSE使用这一功能。MSE方法返回的是每一对真实值和预测值之间的误差，若要求所有样本的误差需要进一步求平均值：

loss_mse_1 = tf.losses.MSE(y,pred)loss_mse_1

loss_mse_2 = tf.reduce_mean(loss_mse_1)loss_mse_2

一般而言，均方误差损失函数比较适用于回归问题中，对于分类问题，特别是目标输出为One-hot向量的分类任务中，下面要说的交叉熵损失函数就要合适的多。

2 交叉熵损失函数

交叉熵(Cross Entropy)是信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息，交叉熵越小，两者之间差异越小,当交叉熵等于0时达到最佳状态，也即是预测值与真实值完全吻合。先给出交叉熵计算公式：

其中，是真实分布的概率，是模型通过数据计算出来的概率估计。

不理解？没关系，我们通过一个例子来说明。假设对于一个分类问题，其可能结果有5类，由表示，有一个样本，其真实结果是属于第2类，用One-hot编码表示就是，也就是上面公司中的。现在有两个模型，对样本的预测结果分别是 和 ，也就是上面公式中的。从直觉上判断，我们会认为第一个模型预测要准确一些，因为它更加肯定属于第二类，不过，我们需要通过科学的量化分析对比来证明这一点：

第一个模型交叉熵：

第二个模型交叉熵：

可见，，所以第一个模型的结果更加可靠。

在TensorFlow中，计算交叉熵通过tf.losses模块中的categorical_crossentropy()方法。

tf.losses.categorical_crossentropy([0,1,0,0,0],[0.1, 0.7, 0.05, 0.05, 0.1])

tf.losses.categorical_crossentropy([0,1,0,0,0],[0, 0.6, 0.2, 0.1, 0.1])

模型在最后一层隐含层的输出可能并不是概率的形式，不过可以通过softmax函数转换为概率形式输出，然后计算交叉熵，但有时候可能会出现不稳定的情况，即输出结果是NAN或者inf，这种情况下可以通过直接计算隐藏层输出结果的交叉熵，不过要给categorical_crossentropy()方法传递一个from_logits=True参数。

x = tf.random.normal([1,784])w = tf.random.normal([784,2])b = tf.zeros([2])

logits = x@w + b  # 最后一层没有激活函数的层称为logits层logits

prob = tf.math.softmax(logits, axis=1)  # 转换为概率的形式prob

tf.losses.categorical_crossentropy([0,1],logits,from_logits=True)  # 通过logits层直接计算交叉熵

tf.losses.categorical_crossentropy([0,1],prob)  # 通过转换后的概率计算交叉熵

作者博客：

https://www.cnblogs.com/chenhuabin

作者github：

https://github.com/ChenHuabin321/tensorflow2_tutorials

戳一下右下角在看，小小举动，大大支持～

加入机器学习微信群，请后台回复「入群」

推荐阅读：

深度研究：回归模型评价指标R2_score机器学习中特征选择怎么做？这篇文章告诉你手把手教你如何在阿里云ECS搭建Python TensorFlow Jupyter