TensorFlow——可视化工具TensorBoard的使用

1、TensorBoard简介

Tensorboard 是Tensorflow官方推出了可视化工具，它可以通过TensorFlow程序运行过程中输出的日志文件可视化TensorFlow程序的运行状态。

TensorBoard 和 TensorFLow 程序跑在不同的进程中，TensorBoard 会自动读取最新的TensorFlow日志文件，并呈现当前 TensorFLow 程序运行的最新状态。

TensorBoard可视化神经网络模型训练过程中各种指标的变化趋势，直观的了解神经网络的训练情况。

TensorBoard的使用对于程序的理解、分析和优化都很有帮助。

2、TensorBoard数据形式

Tensorboard可以记录与展示以下数据形式：

（1）标量Scalars

（2）图片Images

（3）音频Audio

（4）计算图Graph

（5）数据分布Distribution

（6）直方图Histograms

（7）嵌入向量Embeddings

3、TensorBoard启动（Windows下cmd启动）并展示日志图表

确保计算图写入日志 writer=tf.summary. FileWriter ( 'logs/' ,sess.graph)

（1）运行程序，在指定目录下(logs)生成 event 文件

（2）在 logs 所在目录，按住 shift 键，点击右键选择在此处打开 cmd

（3）在 cmd 中，输入以下命令启动 tensorboard --logdir=logs （注意：logs的目录并不需要加引号, logs 中有多个event 时，会生成scalar 的对比图，但 graph 只会展示最新的结果）

（4）把生成的网址复制到Google浏览器或火狐浏览器中打开即可

4、使用命名空间整理计算图

使用命名空间使可视化效果图更有层次性，使得神经网络的整体结构不会被过多的细节所淹没
同一个命名空间下的所有节点会被缩略成一个节点，只有顶层命名空间中的节点才会被显示在 TensorBoard 可视化效果图上
可通过tf.name_scope()或者tf.variable_scope()来实现，具体见最后的程序

例： with tf. name_scope ( 'input' )

5、TensorBoard使用流程

（1）添加记录节点 ： tf.summary.scalar/image/histogram() 等。

使用tf.summary.scalar记录标量

使用tf.summary.histogram记录数据的直方图

使用tf.summary.distribution记录数据的分布图

使用tf.summary.image记录图像数据

（2）汇总记录节点 ： merged = tf.summary.merge_all()

（3）运行汇总节点 ： summary = sess.run(merged) ，得到汇总结果

（4）日志书写器实例化 ： summary_writer = tf.summary.FileWriter(logdir, graph=sess.graph) ，实例化的同时传入 graph 将当前计算图写入日志

（5）调用日志书写器实例对象summary_writer的 add_summary(summary, global_step=i) 方法将所有汇总日志写入文件

（6）调用日志书写器实例对象summary_writer的 close() 方法写入内存，否则它每隔120s写入一次

6、TensorFlow可视化分类

（1）计算图的可视化

# Create a summary writer, add the 'graph' to the event file. writer = tf.summary.FileWriter(logdir, sess.graph) writer.close() # 关闭写入内存，否则它每隔120s写入一次

（2）监控指标的可视化

I、SCALAR

tf.summary.scalar(name, tensor, collections=None, family=None)

可视化训练过程中随着迭代次数准确率 (val acc)、损失值 (train/test loss)、学习率 (learning rate)、每一层的权重和偏置的统计量(mean、std、max/min)等的变化曲线。

输入参数：

name ：此操作节点的名字，TensorBoard 中绘制的图形的纵轴也将使用此名字

tensor ：需要监控的变量.

II、IMAGE

tf.summary.image(name, tensor, max_outputs=3, collections=None, family=None)

可视化当前使用的训练/测试图片

III、HISTOGRAM

tf.summary.histogram(name, values, collections=None, family=None)

可视化张量的取值分布

IV、MERGE_ALL

tf.summary.merge_all(key=tf.GraphKeys.SUMMARIES)

Merges all summaries collected in the default graph
因为程序中定义的写日志操作比较多，一一调用非常麻烦，所以TensoorFlow 提供了此函数来整理所有的日志生成操作：merged = tf.summary.merge_all ()
此操作不会立即执行，所以，需要明确的运行这个操作(summary = sess.run(merged))来得到汇总结果
最后调用日志书写器实例对象的add_summary(summary, global_step=i)方法将所有汇总日志写入文件

7、TensorFlow实现MNIST手写数字识别，并可视化

模型 : 构建一个只有 输入层 和 输出层 的简单神经网络模型，使用 交叉熵 和 梯度下降算法 进行优化,并用 TensorBoard 可视化

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# 载入数据集
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

# 每个批次的大小
batch_size=100
#计算一共有多少个批次
n_batch=mnist.train.num_examples//batch_size


#参数概要（添加记录节点函数）
def variable_summaries(var):
    with tf.name_scope('summaries'): #定义summary类的命名空间
        mean=tf.reduce_mean(var) #计算参数的平均值
        tf.summary.scalar('mean',mean)  #记录数据的平均值
        with tf.name_scope('stddev'): #定义命名空间
            stddev=tf.sqrt(tf.reduce_mean(tf.square(var-mean))) #计算参数的标准差
        tf.summary.scalar('stddev',stddev)  #记录参数的标准差
        tf.summary.scalar('max',tf.reduce_max(var)) #记录参数的最大值
        tf.summary.scalar('min',tf.reduce_min(var)) #记录参数的最小值
        tf.summary.histogram('histogram',var) #用直方图记录参数的分布

#定义命名空间
with tf.name_scope('input'):
    # 定义两个placeholder(这里的None表示第一个维度可以是任意的长度)
    x = tf.placeholder(tf.float32, [None, 784],name='x-input')
    y = tf.placeholder(tf.float32, [None, 10],name='y-input')

#保存图像信息
with tf.name_scope('input_reshape'):
    image_shaped_input=tf.reshape(x,[-1,28,28,1])
    tf.summary.image('input',image_shaped_input,10)#记录10张图片数据

#定义命名空间（命名空间中仍可定义命名空间）
with tf.name_scope('layer'):
    # 创建一个简单的神经网络（只有输入层和输出层）
    with tf.name_scope('weights'):
        Weights = tf.Variable(tf.zeros([784, 10]))
        variable_summaries(Weights)  #调用参数信息记录权重的信息
    with tf.name_scope('biases'):
        biases = tf.Variable(tf.zeros([10]))
        variable_summaries(biases)   #调用参数信息记录偏置的信息
    with tf.name_scope('wx_plus_b'):
        wx_plus_b = tf.matmul(x, Weights) + biases  #执行wx+b的线性计算
    with tf.name_scope('softmax'):
        prediction = tf.nn.softmax(wx_plus_b)

with tf.name_scope('loss'):
    # 交叉熵
    loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
    tf.summary.scalar('loss',loss)  #添加记录损失函数的标量

with tf.name_scope('train_step'):
    # 使用梯度下降算法
    train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)

with tf.name_scope('accuracy'):
    with tf.name_scope('correct_prediction'):
        # 结果存放在一个布尔型列表中(argmax函数返回一维张量中最大的值所在的位置)
        correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(prediction, 1))
    with tf.name_scope('accuracy'):
        # 求准确率(tf.cast将布尔值转换为float型)
        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
        tf.summary.scalar('accuracy',accuracy) #添加记录准确率的标量

#合并所有的summary（汇总记录节点）
merged=tf.summary.merge_all()


with tf.Session() as sess:
    sess.run(tf.global_variables_initializer()) #初始化变量

    # 负责将事件日志(graph、scalar/image/histogram、event)写入到指定的磁盘文件中
    writer=tf.summary.FileWriter('logs/',sess.graph)

    for i in range(51):
        for batch in range(n_batch):
            batch_xs,batch_ys=mnist.train.next_batch(batch_size)
            summary,_=sess.run([merged,train_step],feed_dict={x:batch_xs,y:batch_ys})

        #将所有汇总日志写入文件
        writer.add_summary(summary,i)
        acc = sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels})
        print("Iter" + str(i) + ",Testing Accuracy" + str(acc))

（1）SCALARS

展示的是标量的信息，我程序中用 tf.summary.scalars() 定义的信息都会在这个窗口