TensorFlow学习笔记（二）ReLU、Softmax、Cross Entropy

ReLU是常用在隐藏层的激活函数，Softmax是常用在输出层的激活函数，Cross Entropy

ReLU

数学公式：

f(x)=max(x,0)

当x小于0时，y=0，当x >= 0时，y=x。

Softmax

数学公式：

Softmax示例

将任意一组输入，压缩为一组和为1的数。
TensorFlow实现：

x = tf.nn.softmax([1.2, 0.9, 0.4])

Cross Enropy

Cross entropy loss funtion

TensorFlow实现：

cross_entropy = tf.reduce_sum(tf.multiply([0.0, 1.0, 0.0], tf.log([0.1, 0.5, 0.4]))