3 损失函数

1.MSE


例子:
loss3中.MSE返回值不是标量,是一个[b]维(batch)向量,因此用reduce_mean求一下均值

2. Cross Entropy


手动实现一下cross entropy,可见随着事件确定性的增加,交叉熵逐渐减少

KL散度=0时,交叉熵最小,就等于p本身的信息熵。



分类错误的loss高

用prob会不稳定(?)


你可能感兴趣的:(3 损失函数)