tf.losses.softmax_cross_entropy()及相邻函数中weights参数的设置

最近在修改deeplab v3+的代码训练自己的数据进行分割任务, 因为我的数据中label为0的像素点特别多, 数据不平衡, 所以考虑对label为0的sample设置权重为0.1, 其他class权重为1.
查看tensorflow文档(需要科学上网), 该函数的参数为:

tf.losses.softmax_cross_entropy(
    onehot_labels,
    logits,
    weights=1.0,
    label_smoothing=0,
    scope=None,
    loss_collection=tf.GraphKeys.LOSSES,
    reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)

其中

1. onehot_labels是one_hot编码的label, shape为[batch_size, num_classes]
2. logits是神经网络的输出, 注意要求是softmax处理之前的logits, 因为tf.losses.softmax_cross_entropy()方法内部会对logits做softmax处理, shape为[batch_size, num_classes]
3. weights
   可以是一个标量或矩阵. 如果是标量, 就是对算出来的cross_entropy做缩放; 如果是矩阵, 要求shape为[batch_size, ].
   可以发现, weights实际上是给batch中每个sample设置一个权重, 而不是给label的不同class设置权重. 因此, 输入的weights需要先做处理:

	weights = [0.1] + 49 * [1.0]    #label为0的class权重设为0.1, 其余49个class设为1, 输出一个list
	weights = tf.convert_to_tensor(weights)     #将list转成tensor, shape为[50, ]
	weights = tf.reduce_sum(tf.multiply(onehot_labels, weights), -1)    #根据labels,将weights转成对每个sample的权重

注意, onehot_labels的shape为[batch_size, 50], weights的shape为[50, ], tf.multiply()进行element对应相乘, 自动将weights进行broadcast, tf.multiply()的结果shape为[batch_size, 50], 再进行tf.reduce_sum(), 最终weights的shape是[batch_size, ] \newline

tf.losses下其他cross_entropy函数中weights的设置同理