CNN基础知识 || 均方差损失函数

定义

在深度学习中，做回归任务时使用的loss多为均方差。公式为

其中：Batch为样本数量，M为网络输出层的元素的个数

 

实现

• loss = tf.nn.l2_loss(x, x')  *2.0/ (Batch*M)
• loss = tf.losses.mean_squared_error(x, x')
• loss = tf.reduce_mean((x - x')**2)
• loss = tf.reduce_mean(tf.aquare(x - x'))    (与上面的同意)

对于tf.nn.l2_loss()，数学表达式为 output = sum(t**2)/2

 

测试

认为a中有3个数据，计算a和b的均方差

import tensorflow as tf

a= [[1.0,2.0,3.0,5.0],[1.0,2.0,3.0,7.0],[1.0,2.0,3.0,2.0]]
b= [[2.0,4.0,3.0,7.0],[2.0,4.0,3.0,5.0],[2.0,4.0,3.0,5.0]]
c = tf.convert_to_tensor(a)
d = tf.convert_to_tensor(b)

loss1 = tf.nn.l2_loss(c-d) *2/(3*4)
loss2 = tf.reduce_mean((c-d)**2)
loss3 = tf.reduce_mean(tf.square(c-d))
loss4 = tf.losses.mean_squared_error(c,d)

with tf.Session() as sess:
    print(sess.run(loss1))    # 2.6666667
    print(sess.run(loss2))    # 2.6666667
    print(sess.run(loss3))    # 2.6666667
    print(sess.run(loss4))    # 2.6666667

上面四种表达结果是一样的