TensorFlow之计算交叉熵的函数 tf.nn.sparse_softmax_cross_entropy_with_logits

写在前面：起因是遇到一个错误：ValueError: Rank mismatch: Rank of labels (received 2) should equal rank of logits minus 1 (received 2).于是去了解接下来介绍的这两个函数。

  tf.nn.sparse_softmax_cross_entropy_with_logits

tf.nn.sparse_softmax_cross_entropy_with_logits(
    _sentinel=None,
    labels=None,
    logits=None,
    name=None
)

labels:为样本的真实标签， shape为[batch_size]，每一个值∈[0，num_classes)，其实就是代表了batch中对应样本的类别，如二分类的label[0,0,1,0...]

logits:为神经网络输出层的输出，shape为[batch_size，num_classes]

具体使用如下：

import tensorflow as tf
#cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits,labels=labels)
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=tf.argmax(labels, 1))#此处的label经过ont-hot处理
cost = tf.reduce_mean(cross_entropy)

tf.nn.softmax_cross_entropy_with_logits

tf.nn.softmax_cross_entropy_with_logits(
    _sentinel=None,
    labels=None,
    logits=None,
    dim=-1,
    name=None
)

labels:为one-hot处理后的真实标签， shape为[batch_size, num_classes]，如多分类的label[0,2,1,0...]处理后的标签为[[1,0,0],[0,0,1],[0,1,0],[1,0,0]...]；除了one-hot表示，labels的每一行也可以是一个概率分布，每个数值表示属于每个类别的概率。

注：这个函数将会被弃用，取而代之的是tf.nn.softmax_cross_entropy_with_logits_v2()

logits:为神经网络输出层的输出，shape为[batch_size，num_classes]

具体使用如下：

import tensorflow as tf
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=labels)#此处的label经过ont-hot处理
cost = tf.reduce_mean(cross_entropy)

总结

1.两个函数作用是一样的，一个处理的是真是标签，一个处理的是one-hot的标签；

2.当时我的出错原因就是混淆了两个函数的用法，将one-hot的标签传入了tf.nn.sparse_softmax_cross_entropy_with_logits()

扩展

如何想了解tf.nn.sparse_softmax_cross_entropy_with_logits()的具体计算过程，可以看这篇博客https://blog.csdn.net/ZJRN1027/article/details/80199248