关于深度学习损失函数MSE的一些简单总结

MSELoss损失函数中文名字就是：均方损失函数，公式如下所示：
(xi-yi)的平方
这里 loss, x, y 的维度是一样的，可以是向量或者矩阵，i 是下标。

很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。
因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。

一般的使用格式如下所示：

loss_fn = torch.nn.MSELoss(reduce=True, size_average=True)　
　这里注意一下两个入参：

• reduce = False，返回向量形式的 loss　
  reduce = True， 返回标量形式的loss
  size_average = True，返回 loss.mean();
  如果 size_average = False，返回 loss.sum()

默认情况下：两个参数都为True．

import torch

loss_fn1 = torch.nn.MSELoss(reduce=False, size_average=False)
loss_fn2 = torch.nn.MSELoss(reduce=True, size_average=False)
loss_fn3 = torch.nn.MSELoss(reduce=True, size_average=True)
input = torch.autograd.Variable(torch.randn(2,3))
target = torch.autograd.Variable(torch.randn(2,3))
loss1 = loss_fn1(input, target)
loss2 = loss_fn2(input, target)
loss3 = loss_fn3(input, target)
print(input)
print(target)
print(loss1)
print(loss2)
print(loss3)

tensor([[ 1.3132, -2.0789, -0.8695],
        [ 1.5397, -2.1314,  0.0316]])
tensor([[ 0.7735, -0.4438,  0.6496],
        [-0.7221, -0.3933, -0.4017]])
tensor([[0.2913, 2.6737, 2.3075],
        [5.1155, 3.0208, 0.1877]])
tensor(13.5965)
tensor(2.2661)