TensorFlow之计算交叉熵的函数 tf.nn.sparse_softmax_cross_entropy_with_logits

写在前面:起因是遇到一个错误:ValueError: Rank mismatch: Rank of labels (received 2) should equal rank of logits minus 1 (received 2).于是去了解接下来介绍的这两个函数。

  tf.nn.sparse_softmax_cross_entropy_with_logits

tf.nn.sparse_softmax_cross_entropy_with_logits(
    _sentinel=None,
    labels=None,
    logits=None,
    name=None
)

labels:为样本的真实标签, shape为[batch_size],每一个值∈[0,num_classes),其实就是代表了batch中对应样本的类别,如二分类的label[0,0,1,0...]

logits:为神经网络输出层的输出,shape为[batch_size,num_classes]

具体使用如下:

import tensorflow as tf
#cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits,labels=labels)
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=logits, labels=tf.argmax(labels, 1))#此处的label经过ont-hot处理
cost = tf.reduce_mean(cross_entropy)

tf.nn.softmax_cross_entropy_with_logits

tf.nn.softmax_cross_entropy_with_logits(
    _sentinel=None,
    labels=None,
    logits=None,
    dim=-1,
    name=None
)

labels:为one-hot处理后的真实标签, shape为[batch_size, num_classes],如多分类的label[0,2,1,0...]处理后的标签为[[1,0,0],[0,0,1],[0,1,0],[1,0,0]...];除了one-hot表示,labels的每一行也可以是一个概率分布,每个数值表示属于每个类别的概率。

注:这个函数将会被弃用,取而代之的是tf.nn.softmax_cross_entropy_with_logits_v2()

logits:为神经网络输出层的输出,shape为[batch_size,num_classes]

具体使用如下:

import tensorflow as tf
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=labels)#此处的label经过ont-hot处理
cost = tf.reduce_mean(cross_entropy)

总结

1.两个函数作用是一样的,一个处理的是真是标签,一个处理的是one-hot的标签;

2.当时我的出错原因就是混淆了两个函数的用法,将one-hot的标签传入了tf.nn.sparse_softmax_cross_entropy_with_logits()

扩展

如何想了解tf.nn.sparse_softmax_cross_entropy_with_logits()的具体计算过程,可以看这篇博客https://blog.csdn.net/ZJRN1027/article/details/80199248

 

你可能感兴趣的:(TensorFlow)