tf.keras.losses.SparseCategoricalCrossentropy(
from_logits=False, reduction=losses_utils.ReductionV2.AUTO,
name='sparse_categorical_crossentropy'
)
参数:from_logits:True就是需要经过softmax进行概率化,默认False及y_pred是经过softmax处理的
reduction:False:返回一个list, True:返回一个平均值
计算方法:本质就是计算交叉熵,交叉熵本质就是一个样本计算一个“-log(正确概率)”
cce = tf.keras.losses.SparseCategoricalCrossentropy()
loss = cce(
[0, 1, 2],
[[.9, .05, .05], [.5, .89, .6], [.05, .01, .94]])
print('Loss: ', loss.numpy()) # Loss: 0.3239
a = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
b = a([0.], [1., 2., 3.])
c = a([1.], [1., 2., 3.])
d = a([2.], [1., 2., 3.])
print(b)
print(c)
print(d)
tf.keras.losses.SparseCategoricalCrossentropy()与CategoricalCrossentropy()的区别:
如果目标是one-hot 编码,比如二分类【0,1】【1,0】,损失函数用 categorical_crossentropy。
如果目标是数字编码 ,比如二分类0,1,损失函数用 sparse_categorical_crossentropy。
# SparseCategoricalCrossentropy
scce = tf.keras.losses.SparseCategoricalCrossentropy();
Loss = scce(
tf.constant([ 0, 0, 0, 1 ], tf.float32),
tf.constant([[1,2],[3,4],[5,6],[7,8]], tf.float32))
# CategoricalCrossentropy
cce = tf.keras.losses.CategoricalCrossentropy();
Loss = cce(
tf.constant([ [1,0] [1,0], [1, 0], [0, 1] ], tf.float32),
tf.constant([[1,2],[3,4],[5,6],[7,8]], tf.float32))
How does TensorFlow SparseCategoricalCrossentropy work?
【Tensorflow】【分类:损失函数】SparseCategoricalCrossentropy()和CategoricalCrossentropy()
《关于损失函数的总结》