深度学习模型训练可视化（TensorBoard可视化）

你是否有这样的疑惑？

在我们完成深度学习项目工程中，很多时候我们自己构建模型结构，或者在学习深度学习算法的时候，由于算法结构过于复杂，很难充分理解模型结构层次

你是否想看到自己的模型训练指标与参数的变化情况

很多时候，我们自己构建完成训练后，需要在通过修改参数来评估模型的好坏，同时还需要对相应的指标进行可视化，这样是不是有些麻烦。

它来了！！！

TensorBoard是一款神奇的可视化辅助工具，它能够很好的和pytorch进行配合，本文将从如下几个方面展开：

1. TensorBoard可视化流程
2. 可视化方法
3. TensorBoard界面交互

1. TensorBoard可视化流程

• 首先在pytorch项目中指定一个目录创建一个torch.utils.tensorboard.SummaryWriter日志写入器。
• 然后根据需要的可视化信息，利用写入器将相关的模型结构、指标，图像写入到指定目录下
• 关闭写入器
• 最后通过终端输入命令，在命令中传入目录参数，启动TensorBoard。
  

1.1 在这里补充一点终端如何启动Tensorboard

这里以我的项目目录为例

\torchproject
  \data
    \tensorboard
      \events.out.tfevents....
  \ten.py

写入器目录为data/tensorboard，项目代码和Tensorboard代码都在ten.py文件中，写入器将相应信息写入到目录中，会生成一个events.out.tfevents…文件。

生成完events文件，就可以打开终端，进入到data目录下运行如下命令

python3 -m  tensorboard.main --logdir=“自己的目录”

在运行的响应的内容中点击http://localhost:6006链接。即可进行TensorBoard界面中。

2. 可视化方法

2.1 可视化模型结构 writer.add_graph

import torch
from torch import nn
from torch.utils.tensorboard import SummaryWriter
class Net(nn.Module):
	def __init__(self):
		super(Net, self).__init__()
		self.conv1 = nn.Conv2d(in_channels=3,out_channels=32,kernel_size = 3)
		self.pool = nn.MaxPool2d(kernel_size = 2,stride = 2)
		self.conv2 = nn.Conv2d(in_channels=32,out_channels=64,kernel_size = 5)
		self.dropout = nn.Dropout2d(p = 0.1)
		self.adaptive_pool = nn.AdaptiveMaxPool2d((1,1))
		self.flatten = nn.Flatten()
		self.linear1 = nn.Linear(64,32)
		self.relu = nn.ReLU()
		self.linear2 = nn.Linear(32,1)
		self.sigmoid = nn.Sigmoid()
	def forward(self,x):
		x = self.conv1(x)
		x = self.pool(x)
		x = self.conv2(x)
		x = self.pool(x)
		x = self.dropout(x)
		x = self.adaptive_pool(x)
		x = self.flatten(x)
		x = self.linear1(x)
		x = self.relu(x)
		x = self.linear2(x)
		y = self.sigmoid(x)
		return y
net = Net()
writer = SummaryWriter('./data/tensorboard')
writer.add_graph(net,input_to_model = torch.rand(1,3,32,32))
writer.close()

2.2 可视化指标变化 writer.add_scalar

import numpy as np
import torch
from torch.utils.tensorboard import SummaryWriter
# f(x) = a*x**2 + b*x + c的最小值
x = torch.tensor(0.0,requires_grad = True) # x需要被求导
a = torch.tensor(1.0)
b = torch.tensor(-2.0)
c = torch.tensor(1.0)
optimizer = torch.optim.SGD(params=[x],lr = 0.01)
def f(x):
	result = a*torch.pow(x,2) + b*x + c
	return(result)
writer = SummaryWriter('./data/tensorboard')
for i in range(500):
	optimizer.zero_grad()
	y = f(x)
	y.backward()
	optimizer.step()
	writer.add_scalar("x",x.item(),i) #日志中记录x在第step i 的值
	writer.add_scalar("y",y.item(),i) #日志中记录y在第step i 的值
writer.close()

2.3 可视化参数分布 writer.add_histogram

import numpy as np
import torch
from torch.utils.tensorboard import SummaryWriter
# 创建正态分布的张量模拟参数矩阵
def norm(mean,std):
	t = std*torch.randn((100,20))+mean
	return t
writer = SummaryWriter('./data/tensorboard')
for step,mean in enumerate(range(-10,10,1)):
	w = norm(mean,1)
	writer.add_histogram("w",w, step)
	writer.flush()
writer.close()

2.4 可视化原始图像 writer.add_image

import torch
import torchvision
from torch import nn
from torch.utils.data import Dataset,DataLoader
from torchvision import transforms,datasets
transform_train = transforms.Compose([transforms.ToTensor()])
transform_valid = transforms.Compose([transforms.ToTensor()])
ds_train = datasets.ImageFolder("./data/cifar2/train/",transform = transform_train,target_transform= lambda t:torch.tensor([t]).float())
ds_valid = datasets.ImageFolder("./data/cifar2/test/",transform = transform_train,target_transform= lambda t:torch.tensor([t]).float())

dl_train = DataLoader(ds_train,batch_size = 50,shuffle = True,num_workers=3)
dl_valid = DataLoader(ds_valid,batch_size = 50,shuffle = True,num_workers=3)
dl_train_iter = iter(dl_train)
images, labels = dl_train_iter.next()
# 仅查看一张图片
writer = SummaryWriter('./data/tensorboard')
writer.add_image('images[0]', images[0])
writer.close()
# 将多张图片拼接成一张图片，中间用黑色网格分割
writer = SummaryWriter('./data/tensorboard')
# create grid of images
img_grid = torchvision.utils.make_grid(images)
writer.add_image('image_grid', img_grid)
writer.close()
# 将多张图片直接写入
writer = SummaryWriter('./data/tensorboard')
writer.add_images("images",images,global_step = 0)
writer.close()

2.5 可视化人工绘图 writer.add_figure

import torch
import torchvision
from torch import nn
from torch.utils.data import Dataset,DataLoader
from torchvision import transforms,datasets
transform_train = transforms.Compose([transforms.ToTensor()])
transform_valid = transforms.Compose([transforms.ToTensor()])
ds_train = datasets.ImageFolder("./data/cifar2/train/",transform = transform_train,target_transform= lambda t:torch.tensor([t]).float())
ds_valid = datasets.ImageFolder("./data/cifar2/test/",transform = transform_train,target_transform= lambda
t:torch.tensor([t]).float())

from matplotlib import pyplot as plt
figure = plt.figure(figsize=(8,8))
for i in range(9):
	img,label = ds_train[i]
	img = img.permute(1,2,0)
	ax=plt.subplot(3,3,i+1)
	ax.imshow(img.numpy())
	ax.set_title("label = %d"%label.item())
	ax.set_xticks([])
	ax.set_yticks([])
writer = SummaryWriter('./data/tensorboard')
writer.add_figure('figure',figure,global_step=0)
writer.close()

3. TensorBoard界面交互

简单实现一个实例

import numpy as np
# SummaryWriter用来创建一个writer，可以记录我们想要可视化的数据。
from torch.utils.tensorboard import SummaryWriter

writer = SummaryWriter('data/tensorboard')

for x in range(100):
    # 曲线名称，y轴，x轴
    writer.add_scalar('y=2x', x * 2, x)
    writer.add_scalar('y=pow(2, x)', 2 ** x, x)

    writer.add_scalars('data/scalar_group', {"xsinx": x * np.sin(x),
                                             "xcosx": x * np.cos(x),
                                             "arctanx": np.arctan(x)}, x)
writer.close()

得到的界面如下所示：

现在开始对界面的功能逐一介绍

第一部分（1）：

1.SCALARS表示我们记录的数据的类型

2.下面的图片表示我们还可以记录的数据类型有那些

下拉后可以看到具体可以记录哪些类型的

3.刷新按钮

4.设置多长时间来读取eventfile，在模型训练的时候我们可以实时的监控模型的变化


第二部分（2）:

show data download links 前面如果打勾表示：我们可以将data数据下载下来，下载的结果为csv表格。

表示是否忽略离群点，如果右边一幅图数据点并没有绘制完成，当我们取消勾选，我们就会发现我们的曲线就是完整的曲线。

选择排序方法的功能，如果我们一张图有多条曲线，那么下面的黑框就会把这些曲线对应的值显示出来，这一功能会调整值排序的方式，默认default。

对曲线进行平滑处理。

表示我们X轴的设置，
Horizontal Axis表示横轴：
STEP表示原始数据作为横轴，RELATIVE和WALL都是以时间作为横轴，单位是小时，RELATIVE是相对时间，WALL是绝对时间。

第三部分（3）:

runs显示所有的 event file，可以选择展示某些 event file 的图像，其中正方形按钮是多选，圆形按钮是单选