TensorFlow代码笔记

记录一些 TensorFlow 中一些容易出错的点或者比较难用的函数。

交叉熵计算

cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=tf.argmax(y_, 1), logits=y)
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(labels=tf.argmax(y_, 1), logits=y)

上面的代码中，sparse_softmax_*与softmax_*基本是相同的，前一个计算速度相对较快，labels代表样本的真实类别;logits代表神经网络的输出。

学习率的设置

学习率既不能过大，也不能过小，为了解决学习率设定问题，TensorFlow 提供了一种更加灵活的学习率设置方法——指数衰减法。tf.train.exponential_decay函数会指数级地减小学习率，它实现了以下功能：

decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)

具体使用方法：

learning_rate = tf.train.exponential_decay(learning_rate, global_step, decay_steps, decay_rate,staircase=False)