loss出现Nan的解决办法（梯度爆炸）

1、加入gradient clipping：

    例如用的是交叉熵cross_entropy = -tf.reduce_sum(y_*tf.log(y_conv))的话，最后softmax层输出y_conv的取值范围在[0,1]页就是说允许取0值，有log(0)出现很有可能出现nan，cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y_conv,1e-15,1.0)))，在tensorflow中可以限定一下y_conv的取值范围。

with tf.name_scope('cross_entropy'):

    cross_entropy_mean = tf.losses.sparse_softmax_cross_entropy(labels=ground_truth_input, logits=logits)

    把上面的替换成下面的：

with tf.name_scope('cross_entropy'):

    one_hot_ground_truth_input = tf.one_hot(ground_truth_input, model_settings['label_count'])

    softmax = tf.nn.softmax(logits)

    cross_entropy_mean = -tf.reduce_mean(one_hot_ground_truth_input * tf.log(tf.clip_by_value(softmax, 1e-15, 1.0)))

2、修改参数初始化方法：

    对于CNN可用xavier或者msra的初始化方法。

3、数据归一化：

    3.1 白化：减均值、除方差；

    3.2 加入normalization，比如BN、L2 norm等。

4、减小学习率、或者batch size；