sigmoid交叉熵和softmax交叉熵的区别
1、tf.nn.softmax_cross_entropy_with_logits原理
要求logits与label形状一致， 是先对logits做softmax之后， 再与label做交叉熵运算
loss的输出形状：形状为[batch_size, 1]
import tensorflow as tf
#三个分类，交叉熵通过了sigma求和，因此一个样本对应一个交叉熵，batch_size个样本对应batch_size个交叉熵
#此种情况为多分类问题，但是每个样本只属于一个类别，softmax交叉熵算出来的是一个值
labels = [[0.2, 0.3, 0.5],
[0.1, 0.6, 0.3]]
logits = [[2, 0.5, 1],
[0.1, 1, 3]]
logits_scaled = tf.nn.softmax(logits)
result1 = tf.nn.softmax_cross_entropy_with_logits(labels=labels, logits=logits)
result2 = -tf.reduce_sum(labels*tf.log(logits_scaled),1)
result3 = tf.nn.softmax_cross_entropy_with_logits(labels=labels, logits=logits_scaled)
with tf.Session() as sess:
print(sess.run(result1))
print(sess.run(result2))
print(sess.run(result3))
> [1.4143689 1.6642545]
[1.4143689 1.6642545]
[1.1718578 1.1757141]
2、tf.nn.sigmoid_cross_entropy_with
该函数中labels和logits具有相同的形状，它对于输入的logits先通过sigmoid函数计算，再计算它们的交叉熵，但是它对交叉熵的计算方式进行了优化，使得结果不至于溢出，它适用于每个类别相互独立但互不排斥的情况：例如一幅图可以同时包含一条狗和一只大象，output不是一个数，而是一个batch中每个样本的loss,所以一般配合tf.reduce_mean(loss)使用
loss输出：shape:[batch_size, num_classes]， 与label和logits具有相同的形状。
#-*-coding:UTF-8
import tensorflow as tf
import numpy as np
def sigmoid(x):
return 1.0/(1+np.exp(-x))
#5个样本三分类问题，且一个样本可以同时拥有多类，一个样本会在每个类别上有一个交叉熵
y = np.array([[1, 0, 0], [0, 1, 0], [0, 0, 1], [1, 1, 0], [0, 1, 0]])
logits = np.array([[12, 3, 2], [3, 10, 1], [1, 2, 5], [4, 6.5, 1.2], [3, 6, 1]])
y_pred = sigmoid(logits)
E1 = -y * np.log(y_pred)- (1-y) * np.log(1-y_pred)
#按计算公式计算的结果
print(E1)
sess = tf.Session()
y = np.array(y).astype(np.float64) # labels是float64的数据类型
E2 = sess.run(tf.nn.sigmoid_cross_entropy_with_logits(labels=y,logits=logits))
print(E2)
E1和E2的结果一样，都为：
[[6.14419348e-06 3.04858735e+00 2.12692801e+00]
[3.04858735e+00 4.53988992e-05 1.31326169e+00]
[1.31326169e+00 2.12692801e+00 6.71534849e-03]
[1.81499279e-02 1.50231016e-03 1.46328247e+00]
[3.04858735e+00 2.47568514e-03 1.31326169e+00]]