【Tensorflow】Tensorflow gradient clipping梯度裁剪

Tensorflow中使用tf.clip_by_value(x, min, max)限制一个tensor在一定值域

https://stackoverflow.com/questions/36498127/how-to-apply-gradient-clipping-in-tensorflow

训练过程中，若遇到梯度爆炸问题，可以对gradient进行clip来防止梯度爆炸问题

1. tf.clip_by_value(t, min, max)

loss_op = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=logits_train, labels=Y))

optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
gvs = optimizer.compute_gradients(loss_op)
capped_gvs = [(tf.clip_by_value(grad, -1., 1.), var) for grad, var in gvs]
train_op = optimizer.apply_gradients(capped_gvs)

上面的代码将梯度限制在-1到1之间

2. tf.clip_by_norm(t, norm)

根据以下公示计算并替代超过值域的值

3. tf.clip_by_averge_norm(t, norm)

根据以下公示计算并替代超过值域的值