TensorFlow 日常

TensorFlow 今日心得

  • 数值溢出相关

数值溢出相关

损失函数 (交叉熵) 公式:

L o s s = − 1 n ∑ ( y ^ i l o g ( y i ) ) Loss = -\frac{1}{n}\sum (\hat y_ilog(y_i)) Loss=n1(y^ilog(yi))

即如果 y i y_i yi 过小, 接近于 0, 那么数值会溢出.

一般而言 y i y_i yi 是 tf.nn.softmax(logit) 的结果, 因此

Logit 的尺度差异不能过大

所以一般而言可以用 sigmoid 将 Logit 的值域压缩至 [0, 1] 区间可以有效避免数值溢出问题

你可能感兴趣的:(TensorFlow)