Tensorboard--模型可视化工具

tensorboard in tensorflow ：tensorboard 是一套用于tensorflow训练过程可视化工具，能够可视化模型的结构，参数，损失函数等。最常用于记录训练过程中参数和损失函数值的变化，用来反馈模型性能指标的变化。

TensorBoard github readme–基础概念、操作，tf.summary.xxx
Get started with TensorBoard–图像、网络图、网络参数的可视化

tensorboard in pytorch: 有多种方式来使用tensorboard。本文想推荐的是通过 TensorboardX [第三方库] 来使用tensorboard。底层实际还是tensorflow的tensorboard. 在pytorch 代码框架下想要使用tensorboard 的话，需安装以下两个包。 pip install tensorboardX、pip install tensorflow # cpu 版本即可。

PyTorch 自带 TensorBoard 使用教程 – from torch.utils.tensorboard import SummaryWriter
PyTorch 使用 TensorboardX 进行网络可视化–from tensorboardX import SummaryWriter

（pytorch 和 tensorflow 使用tensorboard 之间的差别后续在整理。本文先着重于整理tensor low中tensor board的使用。）

从标黄的三个地方可以看出，Summary这个对象蛮重要的。

1.tensorboard in tensorflow

1.1 tensorboard的启动过程

# 1.创建writer，用于写日志文件
writer=tf.summary.FileWriter('/path/to/logs', tf.get_default_graph())
# 2.保存日志文件
writer.close()
# 3.运行可视化命令，启动服务
tensorboard –logdir /path/to/logs
# 4.打开可视化界面
通过浏览器打开服务器访问端口http://xxx.xxx.xxx.xxx:6006

参考文档–Tensorboard 详解（上篇）

1.2 tf.summary 可视化类型

Tensorboard 需要将可视化的数据存盘，这些数据来自 summary操作[summary ops]。 summary操作和tensorflow的其他ops性质是一致的，它能够产生序列化的protobufs数据，然后使用summary.FileWriter写入磁盘。

tensorboard支持以下操作，也就是tensor board能够可视化的对象类型。

tf.summary.FileWriter()    # 指定一个文件用来保存图,可以调用其add_summary（）方法将训练过程数据保存在filewriter指定的文件中，详见使用demo
tf.summary.scalar          # 用于追踪模型的loss,
tf.summary.image
tf.summary.audio
tf.summary.text
tf.summary.histogram
tf.summary.merge_all      # 可以将所有summary全部保存到磁盘

tf.summary.scalar、tf.summary.histogram
建议给每类数据赋予一个tag, scalar 和 histogram 的标签里如果有/， 这些数据在存储的时候会存入对应的目录文件中。

1.3 tf.summary 使用demo

自动管理： tf.summary.merge_all()，猜测是直接将训练输出到tensor board中

summary_writer = tf.summary.FileWriter(dir, flush_secs=60)
summary_writer.add_graph(sess.graph)   #添加graph图
tf.summary.scalar('loss', loss)
tf.summary.scalar('accuracy', accuracy)
sum_ops = tf.summary.merge_all()      #自动管理，就是说要算loss 和 accuracy 呗
metall = sess.run(sum_ops, feed_dict={X: batch_x_test, Y: batch_y_test, keep_prob: 1.})
summary_writer.add_summary(metall, global_step=step) # 写入文件

手动管理：

summary_writer = tf.summary.FileWriter(dir', flush_secs=60)
summary_writer.add_graph(sess.graph)        #添加graph图
loss_scalar = tf.summary.scalar('loss', loss)
accuracy_scalar = tf.summary.scalar('accuracy', accuracy)
loss_metall, accuracy_metall, = sess.run([loss_scalar, accuracy_scalar], feed_dict={X: batch_x_test, Y: batch_y_test, keep_prob: 1.})
summary_writer.add_summary(loss_metall, global_step=step)     # 写入文件
summary_writer.add_summary(accuracy_metall, global_step=step) # 写入文件

参考文档：
Tensorflow学习笔记——Summary用法
tf.summary.merge_all()

构建更复杂的图的代码demo

2.tensorboard in pytorch

2.1 SummaryWriter 使用demo1

from tensorboardX import SummaryWriter
writer1 = SummaryWriter('runs/exp')       # 日志保存在‘runs/exp’路径下
writer2 = SummaryWriter()                 # 默认将使用‘runs/日期时间’路径来保存日志
writer3 = SummaryWriter(comment='resnet') # 使用 runs/日期时间-comment 路径来保存日志

# 调用 SummaryWriter 实例的各种 add_something 方法向日志中写入不同类型的数据

# 标量
writer1.add_scalar(tag, scalar_value, global_step=None, walltime=None)
# tag 子图标识。相同tag的saclar被放在了同一张图表中,方便对比观察
# scalar_value 要求float类型。如果是tensor，则需要调用.item() 方法获取其数值。

# 图像
writer1.add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW')
# img_tensor (torch.Tensor / numpy.array): 图像数据
# dataformats (string, optional): 图像数据的格式

# 直方图
writer1.add_histogram(tag, values, global_step=None, bins='tensorflow', walltime=None, max_bins=None)
# values (torch.Tensor, numpy.array, or string/blobname): 用来构建直方图的数据


# 网络结构
writer1.add_graph(model, input_to_model=None, verbose=False, **kwargs)
# model (torch.nn.Module): 待可视化的网络模型
# input_to_model (torch.Tensor or list of torch.Tensor, optional): 待输入神经网络的变量或一组变量

# 嵌入向量 (embedding)，作用：高维特征使用PCA、t-SNE等方法降维至二维平面或三维空间显示，还可观察每一个数据点在降维前的特征空间的K近邻情况。
writer1.add_embedding(mat, metadata=None, label_img=None, global_step=None, tag='default', metadata_header=None)
# 可以运行一下参考论文中的demo 加深印象

参考论文：
详解PyTorch项目使用TensorboardX进行训练可视化

2.2 tSummaryWriter 使用demo2

1.记录数据

from tensorboardX import SummaryWriter
# 设置路径
# 数据将存在代码运行文件目录下的./run/xxxyyy/下的文件中，其中run文件目录，xxx附加名称是自动生成的
path = “yyy” 
selfwriter = SummaryWriter(comment=os.path.split(path)
# 添加要观察数据add_scalar方法保证实时观察
# global_step 数据步长
selfwriter.add_scalar("Grad/gradD", d_grad_mean, global_step=dis_iter# ations)
....
selfwriter.add_scalar("Loss/lossD", loss_D, global_step=dis_iterations)
....

2.显示数据：切换至./run/xxxpath/下，运行以下命令，在输出信息中打开对应的网页链接

tensorboard --logdir .

2.3 tensorboard 数据再读取

使用tensorboard 记录实验数据，可以启动服务后，在网页上实时看到被记录指标的变换情况。有时需操作记录下来的数据，那么就涉及到tensorboar 数据再读取问题。

参考博文：https://blog.csdn.net/nima1994/article/details/82844988#commentBox
读取的接口的github 库：https://github.com/tensorflow/tensorboard/blob/master/tensorboard/backend/event_processing/event_accumulator.py

from tensorboard.backend.event_processing import event_accumulator
import matplotlib.pyplot as plt
# 加载日志数据
path = "./runs/xxxyyy/events.out.tfevents.1609854743.pp-System-Product-Name"
ea = event_accumulator.EventAccumulator(path)
# 数据再载入
ea.Reload()
# 输出所有图对应的keys,之后会依据这个keys取出对应的数据
print(ea.scalars.Keys())

grad_d = ea.scalars.Items('Grad/gradD')
grad_g = ea.scalars.Items('Grad/gradG')
nd, ng = len(grad_d), len(grad_g)
# 数据长度，event_accumulator默认的数据载入压缩比为500:1，最多载入10000个点
# 所以数据很多的话。最多也就是载入10000个点，我是有后续的点被舍弃掉了么？两个都是10000，但是数据量明明不一样？
print(nd,ng)
# 数据后加工，这里就是展示了绘制
# 数据是[(.step, .value),(),()] 的形式存的
figure = plt.figure()
axes1 = figure.add_subplot(2,1,1)
axes2 = figure.add_subplot(2,1,2)
axes1.plot([i.step for i in grad_d], [i.value for i in grad_d])
axes2.plot([i.step for i in grad_g], [i.value for i in grad_g])
axes1.set_title("grad d")
axes2.set_title("grad g")
plt.savefig("grad_any.png")

下图中上下两子图都包含1万个点，那只能说明采样率不同？（60万个点采1万个Vs 12万个点采1万个）

如何实现的自动采样率？修改总的采样点数，还需要查看官网接口。（具体效果没有验证过）
初步查看应该修改event_accumulator.EventAccumulator(path)类实例话时的参数size_guidance，不传入时默认为：

DEFAULT_SIZE_GUIDANCE = {
    COMPRESSED_HISTOGRAMS: 500,
    IMAGES: 4,
    AUDIO: 4,
    SCALARS: 10000,
    HISTOGRAMS: 1,
    TENSORS: 10,
}

tf.summary.merge_all 可以将所有summary全部保存到磁盘，以便tensorboard显示。
这个tensorbord 可以显示模型结构？
再看一看这个玩意
summary.merge_all() 的用法